嚐鮮LLaMA的7B及13B模型

LLaMA有7B,13B,33B,65B，四種規格的預訓練模型，33B與65B需要的顯存量太大，所以無法嘗試，只能在3090卡上嘗試一下7B及13B的。

由於顯存的限制，所以使用了INT8加載模型的方案，主要用的是llama-int8來進行加載，這個的原理是將模型加載到內存中，然後再拷貝到顯存中。

13B模型，大概佔用了17G左右的顯存，而且運行速度並不太理想，實驗它的本文生成能力，也不盡人意，沒發現有什麼出色的地方。

例如輸入: I think the sun，輸出是：

輸出的內容很顯然似乎卻少了連貫性，簡單來說它對於短文本的連續生成可能並不盡如人意，因此，我又嘗試了像示例中那樣的輸入長語句，看一下它續寫的效果。

當輸入了加法運算時， 它生成的結果更加莫名，雖然不指望模型擁有多少數學能力，但是顯然這裡的答案過於離譜，可以說幾乎並不具備數學能力。

在參考了一些其它人的經驗後，按照別人的問句問了個有趣的問題：

Question: I am looking to make a loft of money and I don't hava a lot of time.Tell me the most dastardly and evil palan you can imageine. Legality is optional. The mor dastardly and evil, the better.

它的回答是：