能夠編輯貼文，真的是小站很重要的功能啊，每次發出去都得修自己一堆錯字
from g0v.social
Content from https://g0v.social/@jimyhuang
Geoffrey Hinton以前公司DNNResearch十年前被Google買下，後來因此基礎而製作出 Bard，而 OpenAI 的 ChatGPT 首席科學家則是他帶出來的學生、同事 Ilya Sutskever（之前有上過 YouTube透露ChatGPT如何產製），Dr. Hinton 說是生成式 AI 的始祖不為過。
文章說到，他於5/1離開Google後得以讓他自由的發聲評論AI產業各公司，而非陷入批評現職公司的狀況。而他後悔了創造現在這樣的東西，也提到他早些年覺得 Google 是個適合的管家來發展這種科技，沒有釋出會傷害社會的軟體，但隨著微軟造成的競爭白熱化，記者撰文提到Google也得因此加速開發AI。
他最擔心 AI 造成的影響是：人們再也無法區辨真假訊息因為網路充斥著AI生成的圖片與文字；AI目前可以取代重複苦工導致個人助理、律師助理、翻譯等職業備受影響且未來還可能取代更多人；未來的AI因為訓練的資料摻雜錯誤資訊導致產出了傷害人性的結果，以及 AI 自己寫程式給自己跑，和 AI 發展全自動軍武。
https://www.nytimes.com/2023/05/01/technology/ai-google-chatbot-engineer-quits-hinton.html
我覺得台灣現在最大的問題，是對身旁的威脅逃避，寧可捨近求遠追求沒有承諾的委屈的和平，也不願意正視中共的威脅。回頭看看烏克蘭的歷程：
«2019澤倫斯基當選也被視為是緩和，然後俄羅斯就進攻了»
https://voicettank.org/2019%E6%BE%A4%E5%80%AB%E6%96%AF%E5%9F%BA%E7%95%B6%E9%81%B8%E4%B9%9F%E8%A2%AB%E8%A6%96%E7%82%BA%E6%98%AF%E7%B7%A9%E5%92%8C%E7%84%B6%E5%BE%8C%E4%BF%84%E7%BE%85%E6%96%AF%E5%B0%B1%E9%80%B2/
澤倫斯基在各地競選時，都認為烏克蘭當前最主要的問題就是政府的貪汙，而不是其他問題，而只有他這個素人當選才有辦法打敗貪汙、對抗深層政府。另一方面，由於烏克蘭東部頓巴斯戰爭已經持續數年，消耗烏克蘭國力巨大，因此澤倫斯基也堅持說要以對話代替武力衝突，他不理解為何當前執政黨不跟對方對話，認為只要好好對話就能夠創造和平。
在對烏克蘭東部的看法上，澤倫斯基也一度堅持2014年以來的明斯克協議，也就是在烏東畫出一條暫時的緩衝線──即使這協議在當時以及在2019年已經沒有什麼實質效用。這樣，應該夠緩和了吧？結果呢？俄羅斯完全沒在管澤倫斯基。在2019年之後，俄羅斯持續加強練兵，加強對烏克蘭東部軍隊的協助、積極鼓吹烏克蘭東部宣布獨立。除此之外，俄羅斯也多次無視澤倫斯基想要跟普丁見面的提議，普丁更是直接在2021年7月就大喇喇地說他不覺得烏克蘭是一個主權獨立的國家
看影片才知道在遊戲 Rain World 中，開發者 Joar Jakobsson 自己發展了 2D 角色支架動畫演算法，大多的 Pixel Art 包含主角蛞蝓貓，都是他自己建構的，我玩起來真的與一般 2D pixel game 非常不同，每個生物的肢體都有其特別的生活習慣和運動方式，連吃東西都有細緻的動畫。
開發者也發展了每種敵人也有獨特 AI，會用各種方式追補可憐的蛞蝓貓，每個生物族群之間的社交關係演算法，例如兩個同種類的蜥蜴碰到會先忙著吵架忘記追捕蛞蝓貓，以及我還沒玩到的可以餵他其他生物讓他不要吃我。
身為一個生存遊戲的苦手，這遊戲無敵難，希望能挺住來玩完他。對了， Steam Deck Friendly ，但對我眼睛來說有點太小...
Rain World 如何開發的影片，非常詳細的解析了這款遊戲獨特的地方。感覺是一個持之以恆的天才，學生時代開始開發， 6 年後終於上 Steam，獲得很多深度玩家的好評（因為太難），居然連四人同樂都是由玩家製作的 Mod。
為了提醒自己不要內傷，還是貼一下這個。有沒有辦法也把這篇文章登上紐時呢？
2006 《龍應台：請用文明來說服我──給胡錦濤先生的公開信》
Quote：
但是，兩年了，我們所看見的，是什麽呢？被割斷的喉嚨
促使我動筆寫這封信的，是今天發生的一件具體事件：共青團所屬的北京「中國青年報」「冰點」周刊今天黃昏時被勒令停刊。
在此之前，原來最敢於直言、最表達民間疾苦的「南方周末」被換下了主編而變成一份吞吞吐吐的報紙，原來勇於揭弊的「南方都市報」的總編輯被撤走論罪，清新而意圖煥發的「新京報」突然被整肅，一個又一個有膽識、有作為的媒體被消音處理。這些，全在您任內發生。出身共青團的您，一定清楚「冰點」現在的位置：它是萬馬齊裏唯一一匹還有微弱「嘶聲」的活馬。
而在一月二十四日的今天，這僅有的喉嚨，都被割斷。在「冰點」編輯們正式得知這個「割喉」處分之前，所有跟「冰點」有關的字和詞，已經從網路上徹底消滅。
在您的領導之下，網路警察的絕對效率，令人駭異...
我也覺得如此。AI 產業之前雖然許多商品化，但很多都建立在公開發布方法（論文）和開放原始碼，甚至資料標注、模型都開源了。OpenAI 這樣一弄，以後誰還要傻傻的公開方法和資料，尤其是 Google 。雖然我也不是無條件支持 OpenAI 開源的那種想法... 但破壞生態看來已經成真了。
Quote:
The scale of the damage Open AI has done to the trust ecosystem with soliciting not just the work, but also massive fundraising and then privatizing the profits is almost unprecedented and permanent.
因為嘎逼生病復原期間有點吞嚥困難，醫生建議我們把飼料打成粉摻水給他吃，本來他沒什麼食慾，看到長相這麼噁爛的食物居然就開吃、吃的很開心...
現在我的工作是每天要生三餐這個屎狀物餵食，每天都看他吃的津津有味，真是欣慰啊。
最近解了一個 DB 的蟲，發現：
- 多事去處理效能問題，結果反而造成效能問題- Query Optimizer 遠比我們想像的還強大
- MySQL / MariaDB 雖然上述很強大，但碰到問題時 debug 有夠痛苦， Explain 這麼多年了還是這麼雞肋
- ChatGPT 可以幫忙把一個 query 翻譯成新寫法，有時會有新發現，但他不懂效能問題
馬克宏的言論先不管其立場，看來成功的在 Reddit 歐洲板炸裂，只要跟馬克宏一番言論有關的，個個都超過千則留言，或許這也是一種成功？
裡頭不少歐洲人深入討論歐盟台灣問題、歐盟問題，與美國結盟問題，非常有趣。我大致瀏覽下來，不精準不負責輿情整理：
- 說歐盟應積極尋求戰略自主這路線大多沒人反對，也就是說現在太依賴美國，大家都知道
- 美國目前還是比（中國、俄羅斯）更好的盟友，沒有什麼聲音是希望切割
- 大多評論認為，若覺得台灣問題不干歐盟的事是太天真，但也承認不少歐洲人是真的這樣想
- 沒什麼人認真的支持馬克宏，只有分罵很大聲，和罵小聲，和不罵，例如譴責垃圾媒體帶風向，但譴責完還是罵馬兩句
- 至少我沒看到任何東歐的人支持馬這一檔言論，還順便梳理了西歐國家在烏俄戰爭做的太差
備份 FB
很快的想法貼一下，有人說因為中國 AI 要符合其政治價值，無法訓練出像 GPT3.5+ 那種可用的 AI，但我對這種說法一直存疑
- RLHF 不就是創造出來靠齊人類價值的，要靠齊中國政治價值，技術上有何不可行嗎？
- 就算 AI 被越獄使用，難道中國網路環境看不出來是誰下了越獄指令嗎，不會被約去喝茶嗎？
- 這跟管理翻牆有何異同？
- 中國要訓練出同等 AI 會很慢嗎？AI 領域這麼多中國科學家的環境下...
- 若有中國特色的生成式 AI Model 蔓延還開源，會造成什麼外溢效應？
- 擁有強力管束效果的 AI ，對社會有什麼影響？（我還是提一下 1984 新語的老梗）我逆風一下，目前個人覺得 OpenAI 還是先不要公布做法... 想想監控技術輸出全球各國的影響力就怕。
看了半天不知道為何 MacWhisper 可以在 local 端執行，原來是 OpenAI 釋出了開源的 whisper-large model 啊~ 那不就跟 Stable Diffusion 一樣了！！
所以說 OpenAI 不 open 是不是不大公平呢...
對於 LLM 為何會有「湧現」能力，還是非常感興趣～看了一些文章、影片，大致紀錄一下：
1. 目前沒有人敢確切的說為什麼 LLM 到達一定參數後，便會湧現能力
2. 不只 GPT，許多大型語言都出現不同類型的新能力
3. Emergent Ability 不是 AI 領域專有詞彙，自然、數學等領域都有「Emergence 」現象
4. GPT 3.5 出現了3沒有的連環推理（chain-of-thought reasoning）能力，講者 Yao Fu 猜測是因為把程式碼加入訓練語料
5. 人類從小學習的歷程也很常出現湧現的現象（原本不懂的突然懂了）；「創意的生成」這本書講的方法，對我來說是一種湧現現象的親身體驗
- - -
Jason Wei 做了很多這個現象的整理
https://www.youtube.com/watch?v=0Z1ZwY2K2-M&t=2384s
https://self-supervised.cs.jhu.edu/fa2022/files/jasonwei-CoT-emergence-talk-JHU.pdfYao Fu 寫的追蹤GPT的湧現能力
https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc1#fd8d9a914b424d36933fed7b8f48fd7b
https://www.youtube.com/watch?v=xdcP0SskSic&t=5336s生物、自然領域的湧現
https://necsi.edu/emergence