ollama导入离线模型
ollama可以导入gguf格式的模型文件，但需要进行一些操作。 首先下载gguf模型，或者将hug的模型下载后转换为gguf。 进入模型所在文件夹，建立 modelfile.mf。 内容为： FRO…
使用llama.cpp量化hug、gguf模型。
环境：debian12.9、cmake、python3+、显卡：A100*1（有显卡可加快量化速度，纯CPU非常慢） 首先下载好需要的模型，hug上可下载safetensors、GGUF。如果你下载的…
linux下使用llama.cpp推理与server api
系统：debian12.9 一、下载项目 git clone https://github.com/ggml-org/llama.cpp cd llama.cpp 编译该项目需cmake，未安装请ap…
使用docker运行vllm ollama
安装好docker，显卡驱动与cuda，拉取vllm镜像 docker pull vllm/vllm-openaidocker pull ollama/ollama下载好huggingface上的模型…
Debian12安装nvidia显卡驱动
检测显卡硬件 执行下列命令 # lspci 得到类似下列结果： # lspci ...07:00.0 VGA compatible controller: NVIDIA Corporation GK2…
苹果CMS ali播放器代码
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta http-equiv="x-…
苹果CMS V10 本地化播放器增加记忆播放+自动下一集方法
根目录打开 `/static/player/dplayer.html` 编辑该文件。 修改代码为。 <html> <head> <title>dplayer播放器</title…
linux部署gofilm采集系统。
准备环境： nginx/apache、nodejs、mysql、redis、golang 后端部署： 首先安装好nginx/apache与、mysql、redis，apt install nginx …
