鲤鱼白昼

文章
8
资源
0
加入时间
2年10月17天

用最简单直接的方法将机器学习模型部署上线

参考文章:Simplest Way to Serve Your Machine Learning Model Pinferencia: Python + Inference Pinferencia先看看这些痛点你有没有吧,有的话可以继续往下看阅读这篇文章时,您可能已经知道或尝试过 torchserve、triton、seldon core、tf serving 甚至 kserve。 他们是很好的产品。 但是,如果您使用的不是非常简单的模型,或者您编写了许多代码,而模型只是其中的一部分,这个时候

Sentinel中冷启动限流原理WarmUpController

冷启动所谓冷启动,或预热是指,系统长时间处理低水平请求状态,当大量请求突然到来时,并非所有请求都放行,而是慢慢的增加请求,目的时防止大量请求冲垮应用,达到保护应用的目的。Sentinel中冷启动是采用令牌桶算法实现。令牌桶算法图例如下:预热模型Sentinel中的令牌桶算法,是参照Google Guava中的RateLimiter,在学习Sentinel中预热算法之前,先了解下整个预热模型,如下图:Guava中预热是通过控制令牌的生成时间,而Sentinel中实现不同:不控制每个请求通过的时间间

如何看开源代码

    只要是个程序员就会看代码,但是很多人,包括我在内,在看一些开源代码的时候往往一头雾水,不知从何看起。    越是结构好的代码,如果不理解它的思想越是难得看懂,例如Qt、Agg、CryptPP等。这里我将我的一些经验写在这里,留个记录吧。    完善的开源工程都会有文档,即使没有文档也应当有api-guid,那么我们先找到它们,这时我们不要管它是怎么设计的,先编译一个,照着例子写个程