how to build an OpenAI-compatible API with fastapi

OpenAI-compatible API 在开发应用的时候,不少公司开发的api是配合使用openai的客户端的,如一个经典的openai的调用 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 from openai import OpenAI client = OpenAI( api_key='xxxx' ) completion = client.chat.completions.create( model="gpt-3.5-turbo", messages=[ {"role": "user", "content": "Write a limerick about python exceptions"} ] ) print(completion.choices[0].message.content) print(completion) 如何开发一个非常简单的服务端来配合使用openai的客户端呢?这是这个blog的内容。 op……

阅读全文

recent-2023-12-29

2023-12-29 看了一下博客,上一次写还是9月份了,看了一个电影然后在《book》书签中,过去一年,发生了太多事情,以至于一直没有在博客上留下痕迹。 一年快要过去了,回想2023年,太多的事情魔幻、搞笑,但是又不能怎么样。 回想我自己的2023,好像也没有什么出彩的事情,在这一年里最大的感受就是“……

阅读全文

recent-2023-03-25

2023-03-25 最近chatgpt发展太快,越来越感觉跟不上了海外的科技发展,openai开放了chatgpt的api接口以及插件开发规范,使得成千上万的开发者能够直接应用chatgpt的能力集成到自己的应用中,难怪nv的老板黄仁勋说这是人工智能的iphone时刻,这是非常令人激动的时刻,以后……

阅读全文

chatgpt

Search engines 最近chatgpt大热,早在两个月前我就申请了chatgpt号,然后断断续续开始玩起来,最近火的原因是微软开始将bing接入chatgpt来提升微软的搜索能力,以此来对抗搜索巨头google,这篇文章就是讲的chatgpt的一些内容。 The battle for search What do ai chatbots mean for the lucrative business of searching the internet? For more than 25……

阅读全文

2022总结

2022总结 相信很多人2022年过的非常糟心,我也一样,但是好在健康的活下来了。明年的目标,仍然是健康的活下去。 2022上半年 今年年初就有离开腾讯的想法,在腾讯AI Lab做的感觉不是很开心,然后由于降本增效,本是可见的降了,但是效率并没有看到增加,反而更多的是内耗,可能我不适合那……

阅读全文

LLVM中常见的数据结构

LLVM中常见的数据结构 在介绍数据结构之前,llvm官方首先让我们熟悉isa操作。这是类似于javaisinstance操作,这是在面向对象中用来看对象的类型。如官方的例子 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 class Shape { public: enum……

阅读全文

LLVM

编译器之LLVM 计算机发展到今天,有两个非常著名的编译器是我们经常用到的-GCC和Clang。GCC是古老的编译器,来自于贝尔实验室,可以说是上个世纪的产物,但是并没有因为古老而放弃使用,GCC仍然在更新,目前已经更新到gcc-12(截止2022-10-30)。而Clang是新出……

阅读全文

关于CUDA的CMake的使用方法

CMake CMake是一个现代化C++、CUDA、C构建系统,对于大型项目来说,一个易用的构建系统是非常重要的,能够减少环境的配置时间,动态库的配置时间。因此熟练掌握cmake的用法是C++程序员一个标准的技能,能够让我们快速构建系统编译以及运行。 关于CUDA的CMake CUDA是NVI……

阅读全文

最近

最近的生活状态 回家已经整整3个多月了,这三个多月发生的事情太多了,尤其是魔幻的事情,让我每天好像处在一个不是那么真实的世界里面。下面大概描述一下最近3个月中我印象比较深刻的事情。 1. 考教师 从深圳回家一个目标就是考职院的编制,见多了外面的种种不公平,还是想尝试一下体制内。所以回来我就……

阅读全文

2022新年第三篇

2022最近生活第三篇 最近的大事莫过于俄罗斯攻打乌克兰🇺🇦了,网友争辩的有来有回,对于这种大事我们关心不了,更加管不了,只是不知道有什么对我们影响的地方而已。又是核武器又是SWIFT,发生的事情太多太多了。包括最近香港的事情,香港的疫情一天比一天严重,导致深圳每天都有病例增加,我……

阅读全文