Llama3最簡便的下載及最簡便的使用方法
1、下載Ollama
在Ollama的網站:https://ollama.com/library/llama3 上查看有哪些模型tag可用,例如要使用llama8b的base的4bit量化版本,可直接運行:
ollama run llama3
建議使用微調過的量化版本,問答效果更佳。
ollama run llama3:instruct
即默認下載到本地,大小約4.7G,當運行後,已經可以在終端中進行交互。
2、下載chatbox
然後直接在設置中,後端選擇ollama,便可以直接在chatbox中使用