最新手札
flash-attention
liunx https://github.com/Dao-AILab/flash-attention/releases win https://github.com/bdashore3/flash-attention/releases
Llama3最簡便的下載及最簡便的使用方法
1、下載 Ollama 在 Ollama 的網站：https://ollama.com/library/llama3 上查看有哪些模型tag可用，例如要使用llama8b的base的4bit量化版本，可直接運行： ollama run llama3 建議使用微調過的量化版本，問答效果更佳。 ollama run llama3:instruct 即默認下載到本地，大小約4.7G，當運行後，已經可以在
QuIP方法量化方法的中的不相關性
QuIP量化方法中，有一個概念是不相關性的引入。 對於一個現成的模型參數，重新量化是將神經網絡中的權重矩陣從高精度表示（如32位浮點數）轉換為低精度表示（如2位或4位整數）的過程。這個過程可以顯著減小模型的存儲需求和計算複雜度，從而提高模型的運行效率。然而，量化過程可能會導致模型性能下降，因為低精度表示可能無法完全捕捉原始權重矩陣的信息。 QuIP方法通過引入權重矩陣和Hessian矩陣之間的不相
人工智能Layer Norm 與 RMS Norm 的區別
Norm即Normalization，是對數據進行歸一化的一種操作，一般是將數據歸一化到“平均為0，方差為1”的分佈中，RMS Norm相比Layer Norm少了一個除以平均數的步驟。 Layer Norm即是直接對層進行正則化，一般有兩種，一個是事先正則化(pre norm)，一個是事後正則化(post norm)。 事先正則化就是直接對於輸入進行正則化，然後再計算結果，事後正則化則是結果計算
人工智障啊
Chinese-Llama-2-7b-hf 極不靠譜，而且跑起來非常緩慢，經常會死掉 Chinese-Llama-2-7b-4bit 這個模型，直接笑了，而且輸出直接不帶停的，一直循環 什麼是夫妻肺片? 夫妻肺片是指夫妻之間的肺片，也就是夫妻之間的肺部結構。夫妻肺片是指夫妻之間的肺部結構，也就是夫妻之間的肺部結構......... chatGLM2-6B 也是不錯的 介紹下夫妻肺片? 夫妻肺片是一
從ChatGPT的文字總結能力聯想到一點小思路
用幽默而直白的方式介紹DND中的各類種族： 矮人族：一群鐵匠和酒鬼的混合體，他們覺得生命的意義就是打鐵、喝酒，還有爭論哪種泡沫更好：啤酒泡沫還是洗澡泡沫。 獸人族：一堆大塊頭，見解通常是“如果不明白，就用力打”。他們曾試圖開辦餐館，但因為每道菜的烹飪步驟都是“砸、炸、煮、烤”，最後只好轉行當了破牆專家。 侏儒族：他們發明了各種詭異的機器，但常常會出現奇怪的故障。一次，一個自動切洋蔥的機器突然變成了
人工智能時代可能會興旺的職業
科技與信息技術行業 人工智能模型評估師 負責對人工智能生成的模型進行評估和測試，檢測其性能和效果，提供模型優化和改進的建議。 AI模型監督員 負責對人工智能生成的模型進行監督和管理，確保其在應用過程中遵循道德、法律和社會準則，防止不當行為和偏差。 數據集清洗師 負責對用於訓練人工智能生成模型的數據集進行清洗和處理，確保數據集的質量和準確性，優化模型的訓練效果。 人工智能生成內容編輯師 負責對由人工
Lora 與 P-Tune 兩種微調方法有什麼不同？
LORA和P-Tune都是微調（fine-tuning）機器學習模型的方法，但它們的具體實現方式有所不同。 LORA（Layer-wise Relevance Propagation）是一種基於層級相關性傳遞的微調方法。在LORA中，先計算出每個輸出特徵與輸入特徵之間的重要性權重，然後再通過這些權重來微調模型。這種方法可以幫助深度神經網絡模型更好地理解輸入數據的特徵，並提高模型的準確性。 P-Tu
環路神經網絡的一個Idea
環路神經網絡是一種特殊的循環神經網絡，它由多個不同長度的環組成，每個環都是一個循環單元，可以看作是一個簡化的LSTM或者GRU。每個環都可以捕捉數據中的一個特定頻率的週期性變化，而多個環的組合可以表示更加複雜的時序模式。 例如，如果我們想要對股票價格進行預測，我們可以設計一個由三個環組成的環路神經網絡，其中一個環的長度為5，表示每週的週期性變化，另一個環的長度為20，表示每月的週期性變化，最後一個
ChatGPT的中文模型替代品：盤點目前最新的真正能在個人電腦上運行及可訓練中文模型
BELLE-LLAMA-7B-2M 早在很多人想到之前，貧道就開始有了中文訓練的想法，因此將斯坦福的數據集進行了中文翻譯後，然後作為中文語料去二次訓練LLAMA。 因此最早使用中文訓練的版本，是貧道用PEFT採用lora訓練的，上傳在了huggingface上，模型是 alpaca_7b_zh 這個模型有一個缺點就是運行速度會比較慢，在採用GPU推理時，它會瘋狂運算半天，然後才會輸出一個結果，大概
人工智能嚐鮮LLaMA的7B及13B模型
LLaMA有7B,13B,33B,65B，四種規格的預訓練模型，33B與65B需要的顯存量太大，所以無法嘗試，只能在3090卡上嘗試一下7B及13B的。 由於顯存的限制，所以使用了INT8加載模型的方案，主要用的是llama-int8來進行加載，這個的原理是將模型加載到內存中，然後再拷貝到顯存中。 13B模型，大概佔用了17G左右的顯存，而且運行速度並不太理想，實驗它的本文生成能力，也不盡人意，沒
chatGPT的一些意外的啟示
很多時候人類經驗很容易讓人忽視一些眼前的事情，但是採用人工智能往往能解決這個問題。 比如今天突然想到，如果chatGPT詢問了一個有趣的問題。 即模運算如何轉換成一個極運算 它的回答是： 模運算和極運算是兩個不同的概念，它們之間並沒有直接的轉換關係。 模運算是指取一個數的絕對值，並用它除以另一個數，得到餘數。例如，在整數運算中，“17 mod 3”的值為2，表示17除以3的餘數為2。 而極運算是指
人工智能變聲器
Recast - Koe Recast 一個人工智能轉換語音效果的風格轉換器，可惜對中文語音的支持不是很理想，轉出來的風格，如同影視劇的外國人說中文說得不是很好的情況下的大舌頭感，對男聲及女聲都測試了一下，均不太滿意，然而，它對於英文的語音轉換，可以說做到了巔峰，甚至可以說，這才是大眾真正想要的變聲器。
GFPGAN所需用到的預訓練模型
RealESRGAN_x2plus.pth GFPGANV1.3 experiments\pretrained_models\ detection_Resnet50_Final.pth parsing_parsenet.pth gfpgan\weights 相關指令 推理 python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1
人工智能百度一格的文本圖像生成
百度另外一個文本生成圖像接口，叫作一格，在這裡相對來說會更加自由，起碼可以生成超現實風格的圖片，並且這裡生成所花費的時間會更長，不過所生成的超現實風格的圖片，還是比較不錯的。
人工智能百度文心的文本圖像生成效果
可以看出生成還是比較有一些問題，人物的頭部仍然不夠理想，背景雖然還是很不錯的，服裝也很好，然而在臉上便不理想。 特別需要注意的是，當改成油畫風格後，生成的效果即對於人臉的仍舊是很難把控，，可以發現這有擴散模型的通病，但有時候也會生成還能接受的圖像，並且總體上相對來說卡通風格的人臉還可以接受。 因此關鍵詞中，嘗試考慮遮住臉，然而很遺憾的是，似乎文心並不能識別這樣的指令，然而意外的倒是其中得到了還算不
因果圖(Causal Diagrams)的十個要點
對於事件建模，如果可能，儘量構建有向無環圖(DAG) 1） DAG 上的每個節點對應於隨機變量，而不是其實現值 2） DAG中箭頭的存在或缺失與人口中存在或不存在個別因果關係相對應 3） "不可操縱"變量及其箭頭應小心繪製 4） 最好為總人口繪製 DAG，而不是為暴露或未曝光的群體繪製 DAG，這樣可以更好確定是否出現偏差 5） DAG主要有助於研究在期望中混淆的概念中在分配中是否存在混淆 6）
人工智能寫詩其實並不理解它的含義
打開電腦時，翻到以前寫的AI寫詩的代碼，網上的案例是唐詩的，而貧道蒐集的多是道藏中的詩詞，雖大多寫出來的並不令人滿意，但偶有讓人覺得有趣的。 但終究還是讓人感覺非常失望的，本來研究時是想明白它是怎麼理解語義，結果卻發現不過只是概率連續的結果。 它的原理非常簡單，是通過LSTM，預測的是下一個時序時最有可能出現的符號是什麼，換句話說，它並不在意背後是詩詞，還是英文單詞整體的含義。 轉換成一個視角來看
研究CNTK（七）：Python還是BrainScript速度更快？
def create_reader(map_file, mean_file, train): if not os.path.exists(map_file) or not os.path.exists(mean_file): raise RuntimeError("File '%s' or '%s' does not exist. Please run i
共 19 篇