赢得自定义新的遗物弹球机!只需将数据书呆子提交以注册Futureestack。 现在注册

AWS Lambda上的机器学习有一个新的最好的朋友

4分钟阅读

亚马逊网络服务(AWS)只是宣布AWSλAmazon弹性文件系统(亚马逊EFS)。我有机会探索发布日期之前的一些功能,并在这篇文章中,我将解释这意味着AWS Lambda的未来。

一个术语的定义

AWS Lambda对AWS无服务器计算。术语 ”无服务器“通常与AWS Lambda同义使用,但更多的供应商提供比AWS提供无服务器函数,而Lambda只是AWS上无服务器的计算部分。我不会再说更多的关于lambdas或无法无智能的概念,足以说这是一个有点大的事情。

EFS是分布式文件存储。由于其分布式设计,Amazon EFS避免了传统文件服务器固有的瓶颈和约束。分布式数据存储允许多线程应用程序和并发访问来自多个Amazon EC2实例的数据的应用程序,从而驱动大量的总吞吐量和输入输出操作(IOPS)。

这并不意味着你的Lambda现在有记忆了


梅德韦杰夫/ CC BY-SA (https://creativecommons.org/licenses/by-sa/3.0)

因此,如果您现在可以将持久性存储添加到Lambda函数中,那么是否可以使它们有状态吗?有了保存文件的位置,就可以让函数的每次运行影响后续运行,从而允许跨函数的迭代器和累加器。

这是一个不好的主意。

AWS Lambda被设计为事件驱动架构的无状态服务,您将遇到尝试创建一个问题的多个问题国家机器或其他有状态服务:

  • Lambda函数响应事件运行“至少一次”,因此您不保证从反复调用函数时获得稳定的累积。
  • 如果您的函数必须“链”正常工作,则单个故障可能会破坏整个序列,突然间,您的强大服务是脆弱的。
  • 对于复杂的状态机,其他工具如步骤功能,EC2实例或容器对于这种工作更有意义

但是有很多你可以现在做

对于机器学习的无服务计算是这个新功能的明显用例:使用EFS作为数据存储,您可以使用异步训练的Lambda函数来构建模型。

此外,在运行Lambda函数时,您可以根据需要使用EFS作为参考文件的源,例如,用于更详细的识别任务。

对于像病毒扫描等任务.zip文件,Lambda开发人员最终将有一个放置大量文件的地方,所有这些都需要单独扫描。

一些警告

Amazon EFS必须配置在VPC中运行。

EFS与S3它不用于托管您私有云之外使用的文件。因此,你需要解决vpc.如果你还没有。

EFS支持25,000个同时连接

这包括连接到同一文件系统的Lambda函数和EC2实例。防止问题的简单方法是限制有权访问文件系统的函数的最大并发性,但这是一个非常高的天花板大多数操作可能不必处理。

了解安全控件

使用EFS,安全性是至关重要的,有多个检查到位以确保授权数据访问。您可以找到更多信息在此帖子中使用IAM授权和访问点与EFS

要将Lambda函数连接到EFS文件系统,您需要:

  • Lambda函数访问虚拟私有云(VPC)的IAM权限并安装EFS文件系统
  • 网络可见性,包括VPC路由/窥视和安全组

配置可以进一步限制访问:

  • EFS接入点可以限制对特定文件路径的访问
  • 文件系统安全性(用户ID,组ID,权限)可以限制由Lambda函数安装的每个文件或目录的读取,写或可执行访问权限

New Relic是如何让你监控这个很酷的新东西的

发射,亚马逊CloudWatch.将包括一些关于您的EFS-Lambda连接是如何执行的关键指标,包括:

  • 突发率(如果您有突发信用)
  • 突发信贷余额
  • %IO限制(在文件系统上消耗的IOPS相对于IOPS限制)

新的遗物架构监控工具会收集CloudWatch指标,我们很快将这些统计数据添加到使用EFS的Lambda函数。

注册新Relic用户松弛通道获取更新并讨论无服务基础架构的切削刃。