LLama-cpp-python在Windows下启用GPU推理
llama-cpp-python可以用来对GGUF模型进行推理。如果只需要 纯CPU模式 进行推理，可以直接使用以下指令安装： pip install llama-cpp-python 如果需要使用GPU加速推理，则需要在安装时添加对库的编译参数。 1.安装VS 只需勾选最新的MSVC就行了，Windows 11 …
46 2025-02-17 0 阅读更多llama-cpp-python可以用来对GGUF模型进行推理。如果只需要 纯CPU模式 进行推理，可以直接使用以下指令安装： pip install llama-cpp-python 如果需要使用GPU加速推理，则需要在安装时添加对库的编译参数。 1.安装VS 只需勾选最新的MSVC就行了，Windows 11 …
46 2025-02-17 0 阅读更多Optimized by WPJAM Basic。