Meta推出開源大模型Llama 3
2024-04-19 12:30
文本設置
小號
默認
大號
Plus(0條)
當地時間4月18日,AI領域迎來重磅消息,Meta正式發布了人們等待已久的開源大模型Llama 3。馬克·扎克伯格表示,Meta提供的生成式AI能力在免費產品中性能是最強大的。該助理可以回答問題、制作動畫和生成圖像。 | 相關閱讀(每日經濟新聞)
57
東木
執大象 天下往
從剛發出的博客來看,Llama 3已幫Meta重奪開源大模型的魁首,并無限接近或者超過GPT、Gemini和Claude等閉源大模型。
這個消息的振奮程度,對于AI圈來說,甚至不亞于所謂的GPT4.5。畢竟,meta 才是真正的那個"OpenAI。有多少大模型的生態,是建立在Llama上的,大家都懂。
這次還是meta的老規矩,雖然寫的是特定條件下商業使用,但是基本等于完全免費商用了。而且這次開源了2個模型,8B和70B。我看網上博客里的評測結果顯示:8B版本優于Mistral 7B和Gemma 7B,70B版本優于Gemini Pro 1.5和Claude 3 Sonnet。
不過Llama 3也存在兩個可提升的點,一個是知識庫時間,一個是上下文長度。知識庫這塊,8B只到2023年3月,70B到了2023年12月。而上下文長度更是只有8K。知識庫的時間還好說,但是這個上下文長度,在現在動不動200k的時代里,屬實是有點不夠了。
不過,瑕不掩瑜,估計接下來學術界做模型訓練相關的實驗大多會切換到Llama 3的8B版本,而等400B版本出來后如果效果接近甚至超過GPT-4,大家在數據標注和評測等難任務上也會逐漸倒向免費的Llama系列。讓子彈再飛一會兒。