C++高性能服务器搭建ChatGPT服务
融合当下热门的ChatGPT搭建智能问答服务,前端使用LiteWebChat框架并基于gpt-3.5-turbo API,后端为C++实现的高性能服务器。
- 使用LiteWebChat框架编写ChatGPT对话逻辑,调用gpt-3.5-turbo API得到问答结果;
- 使用非阻塞socket + epoll与线程池实现多线程的Reactor高并发模型;
- 使用正则与状态机解析HTTP请求报文,实现处理静态资源的请求;
- 基于小根堆实现的定时器,关闭超时的非活动连接;
- 利用单例模式与阻塞队列实现异步的日志系统,记录服务器运行状态;
- Linux
- C++14
前端
将resources
中chat.html
中修改142
行为自己的Openai Api Key
;
后端
根目录下运行以下命令
make
./bin/server
cd test
make
./test
./webbench-1.5/webbench -c 100 -t 10 http://ip:port/
./webbench-1.5/webbench -c 1000 -t 10 http://ip:port/
./webbench-1.5/webbench -c 5000 -t 10 http://ip:port/
./webbench-1.5/webbench -c 10000 -t 10 http://ip:port/
Linux高性能服务器编程,游双著.