新玩法！Karpathy周末手搓“大模型智囊團(tuán)”應(yīng)用：各大LLM同臺(tái)互評(píng)，代碼已開(kāi)源

Andrej Karpathy又在周末整活了，為了跟進(jìn)之前的推文（昨天的文章），他通過(guò)Vibe Coding手搓了一個(gè)名為 llm-council（大模型議會(huì)）的Web應(yīng)用，目的是為了好玩和獲取更好的答案。多個(gè)模型像顧問(wèn)一樣提供建議，你可以把它理解為個(gè)人的“智囊團(tuán)”

這個(gè)應(yīng)用界面看起來(lái)和ChatGPT一模一樣，但背后的運(yùn)行機(jī)制完全不同。你的每一次查詢，都會(huì)通過(guò)OpenRouter分發(fā)給“委員會(huì)”中的多個(gè)大模型成員。

以目前的配置為例，成員包括：

• ? OpenAI/GPT-5.1

• ? Google/Gemini-3-pro-preview

• ? Anthropic/Claude-sonnet-4.5

• ? x-AI/Grok-4

具體的工作流是這樣的：

第一步，查詢被分發(fā)給上述所有模型。

第二步，所有模型都能看到彼此（匿名化處理后）的回復(fù)，然后它們會(huì)對(duì)這些回復(fù)進(jìn)行審閱和排名。

第三步，一位 “大模型主席”（Chairman LLM）會(huì)獲取所有上下文信息，并生成最終的回復(fù)。

“智囊團(tuán)”的運(yùn)行效果

Karpathy表示，在同一個(gè)查詢下并排看到多個(gè)模型的結(jié)果非常有趣。更逗的是，看它們互相評(píng)估和排名的過(guò)程。

結(jié)果顯示，模型們通常非常樂(lè)意承認(rèn)其他LLM的回答優(yōu)于自己。這也讓這種方法成為一種頗具意思的模型評(píng)估策略

實(shí)測(cè)案例

在今天用“大模型委員會(huì)”閱讀書(shū)籍章節(jié)的測(cè)試中：

模型們的共識(shí)：一致推選 GPT-5.1 為最佳、最有洞察力的模型；同時(shí)一致認(rèn)為 Claude 的表現(xiàn)最差，其他模型介于兩者之間

Karpathy的體感：并不完全認(rèn)同模型的評(píng)判。定性來(lái)看，他覺(jué)得 GPT-5.1 有點(diǎn)過(guò)于啰嗦和鋪陳；Gemini 3 則更加凝練和經(jīng)過(guò)處理；而在該領(lǐng)域下，Claude 的回答確實(shí)太簡(jiǎn)短了

Karpathy認(rèn)為，“大模型智囊團(tuán)”的數(shù)據(jù)流設(shè)計(jì)空間非常廣闊，目前關(guān)于LLM集成的構(gòu)建似乎還處于探索不足的階段。

目前，該項(xiàng)目代碼已開(kāi)源。

項(xiàng)目地址：

https://github.com/karpathy/llm-council