linrty 的个人博客 👋🏼

在测试vllm部署的时候，因为可以调节对应的内存，并且会被vllm真实的占用，在部署到64G内存的机器时，调节VLLM_CPU_KVCACHE_SPACE为30以上之后一直报错如下： Traceback (most recent call last): File "/opt/code/vllm_reranker_test.py", line 89, in <module> main() File "/opt/code/vllm_reranker_test.py", line 80, in main llm = get_llm() ^^^^^^^^^ File "/opt/code/vllm_reranker_test.py", line 28, in get_llm return LLM( ^^^^ File "/root/anaconda3/envs/py311/lib/python3.11/site-packages/vllm-0.10.2rc1+cpu-py3.11-linux-x86_64.egg/vllm/entrypoints/llm.py", line 272....

因为国内源陆陆续续没用了，下载镜像就算设置了国内源也无济于事 因为有台自己本地服务器，刚好之前捣鼓过配置服务器使用其他机子的代理文章，索性直接配置服务器使用自己电脑的代理然后再配置docker使用代理下载镜像 首先需要再systemd目录下修改文件，如果没有对应的docker文件夹就先创建一下： mkdir -p /etc/systemd/system/docker.service.d 修改配置文件配置文件 /etc/systemd/system/docker.service.d/http-proxy.conf，这个文件中将包含环境变量 [Service] Environment="HTTP_PROXY=http://ip:7890" Environment="HTTPS_PROXY=http://ip:7890" 如果用自建的仓库那就加上个NO_PROXY 重新加载配置文件，然后重启docker systemctl daemon-reload systemctl restart docker 查看配置有没有生效 systemctl show --property=Environ....

分两种设置方式，一种是通过GUI界面进行设置，另一种是通过命令行进行设置 演示的ubuntu版本为20.04 GUI界面设置方式 先进入到网络设置 进入代理设置 进入宿主机的Clash，记好端口和IP 按照上面的IP和端口填写好虚拟机内的代理设置 打开google搜索测验一下，如果不行试试重启一下 命令行设置方式 编辑代理文件（没有的话新建一个） vim /etc/profile.d/proxy.sh 添加代理规则（根据上面查看的IP和端口修改） export http_proxy="http://192.168.2.144:7890" export https_proxy="http://192.168.2.144:7890" export ftp_proxy="http://192.168.2.144:7890" export no_proxy="127.0.0.1,localhost" # For curl export HTTP_PROXY="http://192.168.2.144:7890" export HTTPS_PROXY="ht....