这周我们参加了鲍比桌子Firehydrant.io,是一家世界知名的手工事故应变服务承办商,而事实上,该服务恰恰相反;完全可复制,完全自动化。

鲍比谈论我们通过一些他和他的联合创始人走过的路背后的动机(百米冲刺的速度?)开始自己的公司,并且已经创建了自动化事件响应需求的市场环境时。

我们还讨论了DevOps和SRE之间的区别,微服务的优缺点,以及一个特别令人难忘的事件,涉及鸭嘴兽和消防栓。

如果你有强烈的欲望想要分享你对这个节目的想法或者咆哮,请尽情宣泄吧devrel@newrelic.com。虽然你要麻烦地给我们发送一些字节,但请考虑花点时间让我们知道你想在未来的节目中听到什么。尽管你会收到所有大写的火焰回复,请知道我们真诚地对你的反馈感兴趣;我们的目标是安抚。

欣赏表演吧!

城南:今天和我一起的是我的客人,Bobby Tables。你今天好吗,鲍比?

鲍比表:我做得非常好,伙计。你好吗?

城南:我过得很好。我很高兴能和你们聊一些FireHydrant.io东西,特别是事件反应。我对事件反应很好奇,因为我不是DevOps专业人员,我从来都不是。而且,在我们开始之前,我想听听你的情况。告诉我你是谁,你是怎么到这里来的。

鲍比表:我的名字叫鲍比。人们叫我xkcd可笑的是,一位母亲将她的孩子命名为SQL注入攻击。我的真名是罗伯特·罗斯。在我和两个朋友创立FireHydrant之前,我们都在DevOps领域,但我在那里工作亦即人力资源,在那里我构建了很多开发工具。我在SRE队。在那之前,我在DigitalOcean在那之前,我在迅雷实验室做了很多与咨询很酷的事情。所以在我的生活带来很多的开发工具,它已经一个非常有趣的时间来建立它为自己和他人。

城南:我记得雷电。晴天霹雳是多久以前的事?

鲍比表:我想是六年前,我在Thunderbolt实验室。

城南:你与布莱恩的Lyles的工作,也许?

鲍比表:我做到了。

城南:我记得雷电实验室,因为你们有很棒的贴纸。你的品牌塑造一直都是正确的。在Thunderbolt,你有很好的品牌,在FireHydrant,你也有很可爱的品牌。事实上,我记得最近有一段插曲,在你的主页上有一个非常有趣的徽标。我想知道你是否愿意分享一个关于它的故事。

鲍比表:所以,我们以某种方式结束了与参与科里·奎因在推特上说我们用公司的消防栓账户在推特上向科里发了帖子,我们说:“如果你给消防栓画个logo,我们今天在网站上就把它做logo。”他们之间进行了一些交流。他说:“不会做的事就别说。我们说:“我们是认真的。”科里最近在他们的Slack.org上发布了这个交流,它基本上说,“我需要你画鸭嘴的标志在消防栓上撒尿。”“我想说的是,30分钟后,我们把这个标志拿回来了。然后我进入WordPress上传了logo…

城南:你有一只鸭嘴兽在消防栓上撒尿…

鲍比表:我们所做的。

城南:作为你今天的标志?

鲍比表:我们所做的,是的。

城南:太奇妙了。

鲍比表:大家笑得很开心。这很有趣。我们紧紧抓住那一刻,我们的心,我们的公司。

城南:所以你喝一个老式的?

鲍比表:我是。

城南:我要一些苏格兰威士忌。这是我在New Relic学到的三叶草操作课程,当时他们在都柏林开了一个办公室——我想这是他们在海外的第一个办公室。他们称之为三叶草行动。

鲍比表:太好了。

城南:那么你现在创立的公司,FireHydrant,你是多久以前创立的?

鲍比表:第一次提交的消防栓是在2017年九月和消防栓开始作为一个系列影片,我想记录从头开始构建的应用程序。它是在Rails应用程序的Ruby。所以我录消防栓的每一秒正在建造第一个40小时。然后,我有一个朋友说,“嘿,你正在构建的方式更有价值。”所以消防栓是一个项目,与事件响应基本的帮助。这一直是其意向是,但我只是种停止记录的40小时后,然后我有几个朋友凑热闹。然后在2018年十二月,当我们提出了一个种子,我们开始这个项目的全职团队。所以,我们在这里,我们有一些大的客户,我们正在帮助事件响应。

城南:你有多少人到现在?你快速成长。

鲍比表:我们已经成长得很好。我们现在有16人。

城南:哇!因此,这是大约一年半前?

鲍比表:一年半以前。

城南:太棒了。为你的一个想法筹集资金是什么感觉?我有很多朋友就是这样创业的。这似乎是你这种经验水平的软件工程师的必经之路。我就是不明白这个过程。你会在推特上宣布,“嘿,有人给我100万美元。“你要去哪里?”

鲍比表:纽约的一些投资者找到了我们,我甚至觉得讲这个故事都不好,因为有很多创始人说他们必须和50个投资者谈过才能拿到投资意向书。我真的感到很幸运,能够说我们有一个很棒的想法,我们有一些非常热情的投资者,老实说,这就是我们如何把它提出来的。

我们能够挖掘到我们的网络已经募集资金在过去一点点,以及,我们有一些建议那里。我们在整个过程中进行指导,读了很多书,很多书,我们肯定想多读,我们可以签约前什么。但我们真的很幸运。我们有一些我们可能会曾经问最好的投资者。因此,工作台上的是我们的第一个投资者,然后我们的A系列,在今年早些时候关闭,是门罗风险投资,这是一个非常成熟的公司。他们在尤伯杯,Roku公司,瓦尔比派克投资。因此,我们感到很幸运,我们正在解决一些非常酷的问题,我们只是不停的愿景迈进感动着我们。

城南:所以我看了一些博客文章。我认为你的产品就是当你的公司发生事故时,消防栓。io将由某人发起,甚至在达到某个阈值指标时自动发起,它管理整个事件生命周期。所以突然之间,人们开始得到正确的Slack信息,让正确的人知道系统宕机了,以及下一步应该采取什么措施。它给他们提供剧本和资源来解决问题;试着重新启动这个,试着重新启动那个,设置这个应用程序的新实例。最后,它把所有的事情都总结成一份整洁的报告,你可以用它来对事件进行回顾性分析。我怎么做什么?

鲍比表:那很棒。你想一个营销的作用?

城南:我一直在New Relic的现在三个星期。

鲍比表:你刚刚加入的新文物。这可能不是一个问题啊...那是消防栓的一个伟大的描述。因此,我们认为的消防栓,因为它确实是烤成的名字 - 工具,可以帮助你扑灭火灾。所以有很多的提醒工具,在那里,他们那种接收信号,他们会叫醒你。而这也确实是这些提醒工具是一种内置的事,而且他们做得很好。一个痛苦的,我觉得和我的团队认为是,一旦我被叫醒,现在怎么办?所以消防栓是那种带着这样的想法诞生了。你有一个烟雾探测器,烟雾感应器会叫醒你时,它的气味的烟雾,但它不会帮助你在这一点上。它只是要你弄出来的房子给别人打电话来解决这个问题对你的。

鲍比表:当你想到街上的消防栓时,它并不直接负责灭火。消防队员是负责灭火的,消防栓只是一个必不可少的工具。所以我们帮助你尽快组织合适的人。我们会为你的事件创建一个松弛通道。我们将创建一个缩放桥。我们甚至可以为受影响的服务发布运行手册:这是您如何回滚,这是您如何发送USR2信号来重新加载配置。你可以储存所有这些,消防栓使它真的,真的很容易获得。

如果有什么地方不对头,New Relic的告诉你,“嘿,你的APM是高于阈值的方式。”这可能会导致恐慌感,而你可能会忘记你的进程。工程师,他们真的只想做正确的事情。没有工程师曾经打算做那将故意使一些更糟糕的事件响应过程什么。但是,什么情况是,他们可能会进入隧道的认知,他们忘记创建一个松弛的房间或更新状态页I / O或更新我们的状态页的产品。这是常见的。

So FireHydrant was kind of built around the idea of how we could make it so you have the same process every single time, and we’ll do it for you in a few seconds so you can do what you’re really good at as an engineer, which is solve the problem.

城南:这使它成为一个很好的产品,我将重申。Having been in the position many times where I get a PagerDuty alert for some application that is technically in my sphere of responsibility but I haven’t worked with very often or maybe I’m new to the company—even if I am one of the more experienced engineers on my team—when I get that alert, I go into an application that I haven’t coded on in a few months. I don’t remember all of the things. I just start poking about it at random. It’s so valuable to have these run books, which is, from my perspective, a relatively recent innovation. I’m sure that there were people doing this 10 years ago, but I feel like when I first came into the industry about that time, it wasn’t a common practice, certainly.

和since then, we’ve gone all in on this DevOps perspective, a term that arose from trying to bridge the gap between developers and IT or systems folk that, really, are the same thing: We’re all working toward the same goals, and we’re all writing code, and we’re all trying to build things in ways that are replicable using tools like FireHydrant. So what is the distinction in your mind?

鲍比表:是的,这个问题我在很多酒吧喝啤酒的时候讨论过很多次。你们可能会听到,或者你们可以谷歌输入" DevOps "谷歌中会弹出" DevOps versus SRE "他说:“我认为,首先在这里做出区分是很重要的。DevOps有很多不同的想法。这是关于CI/CD的一些实践。它是关于构建工具的一些实践,可能是为了回滚给员工或提醒,这个过程就是围绕着那个。只是。这只是一堆想法。这就是SRE发挥作用的地方,它是这些想法的一个框架。如果你想一下面向对象语言,谷歌有一个非常棒的演讲。

SRE工具的DevOps。从DevOps的SRE继承。这就是一个很好的方式,以一种独立的DevOps与SRE的想法,我想。

城南:因此,站点可靠性工程是DevOps原则的实现——DevOps是思想的集合,而SRE是实际的实现?

鲍比表:是。

城南:所以从世界之外,我开始看到人们用这个词SRE约我一开始听到的DevOps,但据推测,这两个没有串联发生的时候,是不是?因此就出现了约一个DevOps的基础书。有一本书,在标题也许有“麒麟”?

鲍比表:是的。Ť独角兽项目:一本关于开发者、数字颠覆以及在数据时代蓬勃发展的小说通过基因金正日最近就出来了。我认为凤凰城项目金(Gene Kim)以一种虚构的口吻,更直接地谈到了DevOps。这真是一本好书。它讲述了一个可怕的DevOps现实世界,并从一个非DevOps世界走向它。我还没有读你提到的那本新书,独角兽工程中的t。

城南:我记错,因为我开始去的DevOps聚会。仅在过去一年左右的时间,我真的把这一类的东西产生了兴趣。这是迷人的,我看系统架构,我将建立一个应用程序,我设计组件的方式。我至今仍微服务的粉丝目前,微小的,微小的微服务的。还有就是你达到和阈值...

鲍比表:纳米服务?

城南:纳米服务,是的。我认为人们把信息搞得太复杂了,但我仍然喜欢让应用程序承担一定的责任。这是用户所在的位置。并以这种方式设计系统。我有时使用CRC卡,当我准备设置一个应用程序时,我会做这些思维导图。我觉得系统架构是非常相似的,但是今天,在游戏场上,当你设计一个系统时你可以得到的乐高的数量是巨大的。

如果你看CNCF页面,它描述了在云本地计算基础我想那一页上一定有50个商标。我觉得这是爆炸式的增长。如果你使用Kubernetes生态系统,我想它只是这类云架构增长的晴雨表。这是爆炸。到明年,我们可能会有两倍的数量。

所以,你已经得到了所有这些积木的,你想跟踪和我,从外面,因为它不是我的全职工作,因为它是你的,它只是看起来如此难以跟上。我宁愿尝试跟上JavaScript的生态系统。

鲍比表:这是这样一个很好的方式来比较。有趣的是,你说的积木,因为我谈这个有很多,其中,如果你去乐高乐园和你站在很远的地方,它看起来像这些雕塑,他们正在用积木制作有他们的曲率。但是,如果你得到足够接近,它仍然是锯齿线。如果你把你的手放在它,它仍然是相当不舒服。你仍然不会想步上雕刻。

有了这些乐高,你就可以用所有这些部件来制作这些极其精细的系统。但问题是你只是把它变成了一个极其复杂的系统。如果你没有真正管理这个系统的框架或心态——如果你没有真正建立起团队来成功地管理这个系统——你就几乎注定要失败。

我认为很多Kubernetes架构和CNCF周围的所有其他项目;服务网格正在成为一个巨大的东西,对吗?这就又增加了一层复杂度,那请求如何到达进程呢?这和16年前相比简直是疯了,当时我有Apache和PHP在端口5000上监听。这太不一样了。

城南:早在一天,我曾经有缝在一起,自己使用的请求ID的请求。我会发现在其中用户登录前的应用程序,并获得请求ID,如果我们有一个请求ID,我希望我们这样做,所以我不能跨越微服务时间戳相关。而我还在寻找日志,以请求ID和缝制它。而且,现在的都走了。我们只是继续建设抽象,使一切更容易。

鲍比表:我可以从使用消防栓的经验出发。你几乎必须从现在开始建立这些东西。你需要有这样的架构它会在负载均衡时有一个请求ID它会一直传播到pub/sub。诊断这些问题变得非常、非常困难。这就是为什么面向服务的体系结构虽然对许多公司来说是好的,但从一开始就可能不是一个好主意。

我们从一个模型开始。我之前的两家公司都使用过微服务架构,我们说,“不,我们要做一个整体”,因为如果有东西坏了,你猜怎么着?你只能在一个地方打坏。我们要去那里。

城南:面向服务的体系结构被设计用来解决难题。如果你还没有感到疼痛,那么你就不知道应该取出哪块。

鲍比表:对。我认为,关于建筑的有趣的事情,这不是谈论不够,一个是,它应该遵循了不少良好的面向对象编程中使用同样的原则。我们有确凿的原则。我们领域驱动设计,单一职责原则。请您谈一下开闭,依赖倒置。但是,我们不谈论这些架构相同的概念,这是完全现实的事情。我们为什么不能有一个系统,是开闭在这里我们可以添加扩展系统的功能的服务?为什么我们不能做Liskov替换在那里,因为我们有这这样一个良好定义的API服务,我们需要让它快一点,所以我们用走的应用程序交换,而是因为它具有相同的API签名,消费者并不关心。

我们对架构和设计谈论得不够。我认为我们只是把服务扔到问题上,我们重新设计了端点每次都不一样,每次都不一样,最后我们得到了这些意大利面怪物。Uber甚至正在讨论这个问题。他们有一篇关于这个的新博客文章。我觉得这是一种很疯狂的方式,一项服务只能提供给三个工程师,而Uber有成千上万的工程师。你能想象那样做吗?

城南:我无法想象在那家公司的工程团队工作是什么感觉。我认为这与他们所经历的非常、非常迅速的增长有关。他们在一夜之间爆发。他们生产了很多有趣的技术。他们有一个更受欢迎的后端为普罗米修斯。因此,Prometheus是一个应用程序,它可以拉出你的应用程序。而不是我,当我处理支付客户鲍比表,而不是我调用一些指标端点和说,“嘿,鲍比只是付了10美元,”我只是写本地一些临时存储,和普罗米修斯出现每一分钟左右,把一个端点在我支付应用程序。它获取所有我记录的指标的所有数据,并存储它们。但是普罗米修斯计划并不是为了长期保存这些数据而设计的。它接受它并将其放入后端存储中。 And超级M3我想,这就是它的名字。听起来对吗?

鲍比表:是的。M3听起来确实不错。

城南:这是这个的一个后端。因此,普罗米修斯公司将使用Uber的M3开源项目来长期存储这些数据。这类技术——如果你看看普罗米修斯的时间序列后端数量,现在有100个。我所知道亚博最新版直播的能做你们所做的事情的产品,有一个统一的产品用于处理事件响应。所以我真正的问题不是,“嘿,说出你所有的竞争对手的名字”,而是为什么这不是人们最关心的问题?因为这是每个人都要面对的事情,对吧?我工作过的每一个SRE都有运行手册和系统,但都是手工制作的。他们都有定制的手工工艺。你把整个过程都放在一个盒子里。为什么没有更常见?

鲍比表:这是个好问题。我认为今天消防栓能够存在是因为我们已经将很多其他东西标准化了。是的,事情变得更加复杂了,Kubernetes已经开始在构建许多现代应用程序体系结构的方式中占据绝对的主导地位。我想现在所有的财富100强都说过他们在试验Kubernetes。我记得有一篇文章是这样写的,一些疯狂的数据,我说这些是因为我觉得今天的消防栓也是这样存在的。

在过去的10到15年里,我们开始在很多事情上标准化。容器之所以存在,是因为我们能够对格式进行标准化。Docker创建了这种标准化的、可移植的格式。如果没有标准化,Kubernetes会怎么做?因为所有这些具有真正定义良好的接口的抽象开始存在,Kubernetes能够将这些东西捆绑在一起。

消防栓也是一样的。我们有DevOps,然后SRE开始在这个领域崭露头角。我认为很多组织都在更结构化的意义上考虑可靠性。我们还让人们在聊天工具上标准化。世界上很多地方已经开始变得萧条。

城南:我同意你的1000%。我知道你是一个老乡Rubyist,所以我想花一分钟来欣赏由具有意见涉及到一个社会什么价值。我认为Rails的在同一时间得到了很多程序员的游泳在同一方向做了一个了不起的事情。肯定是有东西标准化,开放式遥测变化已经到来最近,我们现在有一个办法,报告指标可说的。我曾与在当天新江湾专有格式回来。我宁愿有一个衡量标准格式,每个人都可以使用,我们都可以互操作的,对吧?我觉得我们达到与DevOps的生态系统和生态系统SRE一个点,我们现在学习的标准化,我们如何建立这些东西,我们如何把这些东西做出反应的价值。

所以,如果我问你,以便为未来的一些预测,它是什么要像你在一年空间?所以,在一年内,我可以打电话给你要对播客,我们将告诉你如何错了。

鲍比表:是的。我很乐意,设置一个提醒。我有两个预测,其实不是我当场编造的。我已经思考这个问题。其中一个是我们要达到一个点,面向服务的体系结构变得非常繁琐和超级复杂,我们需要摆脱谷歌表作为事实上的清单我们正在运行的服务方式和谁拥有它们。因此,我认为我们将看到许多工具开始发挥作用,用于编目我们在生产中运行的服务。因为运行多种服务会带来很多挑战,而不仅仅是围绕工程运营。这是一个问题,“如何使其兼容?”

对于SOC合规性,必须在部署了大量的时间记录。你必须有一个部署日志。而当你有100个服务部署在一天内多次,在这情况下的信息去?什么是服务?然后人们会多区域,多云,甚至,我们怎么知道那里的服务正在运行?这是一个需要解决的难题。很多公司只是有YAML和GitHub的库来表示目录,而这不会是足够随着时间的推移。

城南:我认为这与你在事故反应中所做的事情特别相关。如果发生事故,我马上想知道的是在过去的24小时、1小时或10分钟内发生了什么变化。系统中的哪些东西发生了变化?因为我对电脑的了解足以让我知道,如果你不戳穿这只熊,它就会继续睡觉。不要改变任何事情,对吧?所以你必须找到这些变化。我认为服务发现这类事情对实现这个目标非常重要。所以你对明年的预测是我们将会有一些在生态系统中很受欢迎的玩家或者一些在服务发现方面做得很好的项目。然后,以一种自以为是的方式,开始成为主导的标准?

鲍比表:是的。创业公司和风险投资——尽管可能很烦人——确实是正在发生的事情的良好指标。如果你看看过去的六个月,你就会发现很多服务目录的初创公司都在涌现,他们唯一的责任就是列出你正在运行的服务以及他们最近的变化。所以,它的发生。现在的挑战是,“我们如何定义服务是什么?”“我们将开始看到这种挑战。我希望CNCF或其他管理机构能定义什么是服务。负载均衡器是否不运行服务?如果你问我,这是一项服务,因为你的客户并不关心它是否在亚马逊的ELB上,但这是一项你运行的服务。

我认为我们将需要一个明确的一个什么样的服务版本,有这方面的天赋,一个什么样的服务是一个实际的RFC。我认为,这是怎么回事来与-或希望如此,我们需要一个通用标签标准。标签是所有的地方。每一个主要的云服务提供商,每一个主要指标的消费New Relic的是一个他们,每一个这些服务的人都有一种方式来标记和注释的东西。但没有定义,说什么键应该是什么值应该是一个服务。所以我真的希望这种情况发生。我们将有专人定义一组标准的标签。你可以称之为“CNCF贴标项目,”我才不管呢,那个说,服务的名称,服务的目的,组件,它的权力,拥有它的团队,并沿着这些线路的其他键值对。

如果你思考的价值provides-if我说我有这个键值系统,我可以添加ELB亚马逊,因为亚马逊支持标签,然后我在Kubernetes部署参考注释,我有一个度量,出来,有一个键值pair-if我有办法切下来所有的钥匙在整个请求周期从ELB部署度量,使得一个疯狂的今天我们没有的可观测性。这是拼凑起来。所以我认为我们将看到一个服务目录出来。我认为要使这成为现实,我们将不得不看到一个标签标准的出现。这将是观察性的一个非常有趣的转折点,并将其与我们以标准化方式运行的服务联系起来。

城南:我认为这是一个明智的预测,而且我认为这是迄今为止最可能发生在观察面孔简史上的事情。这是我们的第三期节目,非常荣幸。我们已经有了很多预测,但你现在赢得了预测游戏。

鲍比表:也许我现在就可以写下来证明一个观点,“是的,它发生了。”

城南:这应该是一个博客帖子。虽然我们关于这个问题,你犯了一个博客关于如何制作一个老式的,是吗?

鲍比表:我做到了。

城南:而在那里它火?你用...你烧你的...

鲍比表:我做了,从一个橙子的背面。我忘记了这个技术的名字,但是你可以把一个叫做“硬币”的东西切在橙子上,在你挤压和提取橙子里的油的同时用火焰把它浇到饮料里。这给了它很好的橙色色调。

城南:我对此非常感激。我觉得老式的已经成为开发人员的饮品,但每个人对此都有自己的看法。我知道一些软件开发人员会从零开始制作他们自己的苦工。我来自波特兰,我们只是在这里做这些东西,但仍然非常喜欢手工制作。但我认为人们不应该对我们手工制作的事件反应感兴趣,我真的很高兴你们公司的存在。我再重复一遍我对这集的预测,你最多在一年半之内就会被买断,你将不再接我的电话。但是我真的很感谢你来参加这个节目和我一起上播客。你能来真是我的荣幸,鲍比。非常感谢您的收看。

鲍比表:不,是我的荣幸。谢谢你的联系,我总是很高兴与社区交谈。我们的真正目标是让开发人员更喜欢我们的工具,所以如果我们能一直这样做,那对我来说就是胜利。

城南:我所有关于开发商的幸福。这就是我想用我的余生做。告诉我们,我们可以在互联网上找到你的?

鲍比表:

我不会说太多,但你可以在推特上找到我,@bobbytables。我也上github.com/bobbytables,乐意与人聊天,如果有什么我所说的听起来很有意思。

城南:太棒了。非常感谢。我很快会再见到你的。

鲍比表:谢谢你!

听多了Observy McObservface发作

乔南大部分时间都在盯着小盒子和按按钮。他喜欢Ruby,围棋,机器学习和玩机器人。查看贴子

以书面New Relic的博客人气?亚搏体育登入网给我们发个广告!