結果看了訪問，原來 OpenAI 不是想要探索智慧源頭，是想要模仿人類打造 AI... 先創造腦袋，再創造視網膜、耳膜，鼻子嗅覺細胞，舌頭等是不是也準備好了呢？
Quote:
為什麼多模態的訓練很重要呢？蘇茨克維解釋，因為這是視覺的世界，人類是視覺的動物，所以只能從文字學習的神經網路雖然已經很強大了，但它絕對可以達到更高的境界。而 GPT-4，可以「看」得很清楚。此外，透過視覺來學習這個世界的知識，才能學到更多。人類一輩子可以「聽」到的訊息，大概是十億個字，這是很少的資訊量，但我們可以透過視覺學習到更多非文字化的資訊，神經網路也是一樣。
from g0v.social
Content from https://g0v.social/@jimyhuang
後社群時代的民主國家弱勢。
美國還有能力討論這個事務，即使反對聲浪如此大，但兩黨議員至少都敢站出來談，讓 TikTok 去說「让美国的数据存储在美国本土，由美国公司存储，受美国人员监督」這種話。
其他民主國家，對待侵害社會網絡的社群媒體，又該怎麼談判呢？
在資訊爆炸的壓力下，能夠靜心好好沉浸在一款遊戲，也是一種幸福。
最近特價入手的是潛水抓魚、經營壽司的遊戲：Dave the Diver，像素風格，誇張好笑的動畫，恰到好處的獎勵，一玩就上手，支援 Steam Deck 但畫面有點太小，建議還是大螢幕玩。
不覺想起，幾年前也想學潛水，AI 時代來臨後，我可以好好去學了嗎？
🍣 🐟 🤿
GPT4出來一陣子，還沒看到 Emergent Ability 清單（哪裡有的話麻煩提示一下），倒是半個月前有人深度討論這個現象的文章，結論還是感到怕：
But what does this all mean? Where do we go from here?
In short, at this point, it is unclear. There are several important things about the emergent abilities of large language models to keep in mind.
1. We don't know at what scale they will appear
2. We don't know the level of ability until they do appear
3. We don't know the landscape of potential abilitieshttps://www.assemblyai.com/blog/emergent-abilities-of-large-language-models/
LLM 的「湧現」能力清單，可以看到清單上最大的 Model 「PaLM 540B」，湧現的能力也最多。
AI 科學家看起來真的很想找出智慧的源頭啊... （怕.jpg）
https://www.jasonwei.net/blog/emergence
結果來的還真快。
我覺得全世界現在就在引頸期盼 Meta 釋出這個 LLaMA Model 的授權了。然後這群人訓練方法跟 Stable Diffusion 後面出現大量高品質 Model 的作法如出一轍阿，用別人家的 AI 產圖，反正圖片沒版權，再來訓練自己家 AI ...這次是語料了
--
文章在這裡：
《如何用幾美元訓練出可以在 Raspberry Pi 上運行的 Chat bot》https://reality.hk/train-your-chatbot-on-pi-with-a-few-dollars/
受災戶路過... 沒想到這麼多 Base Image 在上面的還會沉下去
雖然很早就腳踏兩條船了，不過最後還是得自己弄一個比較實在啊3月的鳥事有多一件🐔
https://blog.alexellis.io/docker-is-deleting-open-source-images/
一樣是快速的想法留做紀錄。
當生成 AI 讓很多人增加生產力後，那回過頭來重要的反而是，我們想要生產什麼？如果每個人的技能起跑點被強制拉平，動機和目的，想要完成什麼，看來就變成區別彼此的關鍵了。
簡單說，做什麼是對社會有意義，對自己有價值，對人類有貢獻的事情，好像比以前來說，又更重要了。想要做什麼在這時代又有另一層意義了，因為可能真有新工具幫助自己做到。
我猜很多人對 AI 的憧憬和樂觀來自這裡吧。（當然我是屬於悲觀那種人類的）
離每個人技能拉平那天很遙遠，也要搭配無條件收入（更遙遠），結果好像反而得先推無條件收入... 才不至於悲觀下去啊
快速紀錄一些想法。Stable Diffusion 後續的 Open Source 效應其實很值得來討論。
從 webui，自訓練各種用途的生圖 Model（生成真人 vs 生成動漫風），訓練 Embedding ，到訓練 LORA，和很近期的 ControlNet，以及與各式繪圖工具整合（ Blender / Photoshop...），整個歷程大概半年。
而檢閱過 ChatGPT 目前發展和可用的 API，Embedding 是早就有了，各種用途的 Model 也有了（例如 Bing 搜尋），以及 Fine Tuning API（像是LORA嗎？），到近期的 GPT-3-turbo，有帶入回答角色的 API（很像是預先做好的 ControlNet 嗎？），比對之下好像歷程很接近。
不曉得有沒有人研究這種圖片 / 文字生成式 AI 演算法比對，然後 OpenAI 沒有 Open，好像要下放到每個人電腦中，不要一直繳 AI 稅給其他公司，只能靠 FB 那個 LLaMA 了。
p.s. 昨天 Slashdot 看到的文章就在說這個
https://simonwillison.net/2023/Mar/11/llama/
這位 YouTube 講是否應該用 Copilot ，還真生動有趣
"Come-on copilot, why you gotta be like that!!!"