太獵奇了，首個GPT-4驅(qū)動的人形機(jī)器人

twq19810302

1 R; H: J8 {- p讓GPT-4操縱人形機(jī)器人，事先不做任何編程or訓(xùn)練，能搞成啥樣兒？

( Q/ h5 q& K0 G* y4 x; R) f' J答案是：太 獵 奇 了！

% H& b# ?, A) h  I- Q$ E這不，要求機(jī)器人表演“在昏暗電影院里狂炫爆米花，卻突然發(fā)現(xiàn)吃的是隔壁陌生人的😅”。

在GPT-4的操縱下，機(jī)器人笑容凝固，“尷尬”得搖頭扶額后仰：

2 H/ h% R0 x+ \

但在尷尬之余，竟然還不忘再抓一把塞嘴里？？？又像是要求機(jī)器人“彈吉他”。

GPT-4略思考一番，開始操控機(jī)器人活動一番手指、隨后瘋狂甩頭，好像是有點(diǎn)搖滾內(nèi)味兒。但仔細(xì)一看，甩頭的時候，手指就完全不動了……

6 ]+ ^: b, l% B; g& X: C4 c

你要說這是神叨叨的地攤先生在掐指一算，好像也沒什么不對（手動狗頭）。

總結(jié)一系列動作來看——

8 L9 i, R7 a6 |5 }) g# y8 a相比波士頓動力人形機(jī)器人，一舉一動均由人為程序精細(xì)操縱，這個GPT-4直接操控的機(jī)器人，表情猙獰，動作詭異，但一切行為又符合prompt的要求。

6 l4 P$ w( B( ~2 l6 @

: [5 {; J3 ^3 D  R& G
" x+ m* B# N, Y

這一連串GPT-4操控機(jī)器人的視頻po到網(wǎng)上后，不少網(wǎng)友直呼“恐怖谷效應(yīng)犯了”：

4 w0 F2 l0 G8 J& y' d- y

原來，這是首個由GPT-4驅(qū)動人形機(jī)器人的研究，來自東京大學(xué)和日本Alternative Machine公司。

  [2 {1 y# y6 V$ G2 d

依靠這項研究，用戶無需事先給機(jī)器人編程，只需語言輸入、也就是動動嘴皮和GPT-4聊上一會兒，就能讓機(jī)器人根據(jù)指令完成行動。

" g2 [$ Z: y9 z6 E1 ?

來具體講講把GPT-4和Alter3集成到一起，是如何實現(xiàn)的。

大體可以分為兩個步驟：
1 U# ~( e6 w  n( G: n4 b& i6 U
首先，先用prompt描述一下，想要Alter3能夠完成什么行為或者動作，比如“咱來張自拍吧”“自拍的時候胳膊再舉高一點(diǎn)”。

0 r5 {  r6 f' _接收到輸入的GPT-4會生成一系列的思考步驟，這些步驟詳細(xì)地闡述了要完成這個動作，需要先后完成些啥。

這個過程被研究團(tuán)隊稱為CoT的一部分，即將一個復(fù)雜任務(wù)分解為一串更簡單的思考步驟。
  ~( W3 W0 T3 u$ w4 j9 ~
& o5 \2 W  f0 Z( {- H# q9 }然后，研究者們再祭出另一個prompt，把分解后的詳細(xì)步驟轉(zhuǎn)化為Alter3可以聽懂的動作指令。

簡單理解就是把人們的指令描述轉(zhuǎn)化為Python代碼，這些代碼可以直接用來控制Alter3的各個身體部位的具體運(yùn)動參數(shù)。
: l% m. g# V" F
有了轉(zhuǎn)化后的代碼，Alter3想擠眉弄眼就擠眉弄眼，想撇嘴就能撇嘴
' f1 e# l  l& o) Y# _' J
研究團(tuán)隊把這第二步也看成CoT的一部分，因為它完成的是“把一個抽象描述轉(zhuǎn)化為具體操作”。

( V# ?) i* l" a) [

團(tuán)隊表示，CoT讓GPT-4能夠有效控制Alter3，命令它做各種復(fù)雜動作，且不用額外的訓(xùn)練或者微調(diào)。
% X' z" T; ~2 x! {, O6 `* K
, E) P: X5 G. j# v多說兩句，除了上述的兩個Prompt搞定機(jī)器人控制外，研究團(tuán)隊還順手完成了一些其它研究。
& j4 o; _- a0 P
1 W* w, ~+ O  J' M% e比如掰開了看Alter3在對話中的行為，主要針對其對話軌跡和語義時間演化。

針對對話軌跡，研究團(tuán)隊使用了一種叫UMAP（Uniform Manifold Approximation and Projection）的方法。團(tuán)隊把對話內(nèi)容嵌入二維空間，從而方便觀察這個簡化版的對話發(fā)展過程。
' |9 ]% o# k! x  d& b, Z
' e" {: ?& y" G% u& m# u他們發(fā)現(xiàn)，當(dāng)對話順序固定時，對話軌跡會呈現(xiàn)循環(huán)模式，也就是老在重復(fù)同樣的話題。

0 Q3 v' M3 h/ W' P0 w' n而當(dāng)對話順序隨機(jī)時，對話內(nèi)容更有發(fā)散性or創(chuàng)造性。

賊有趣的一點(diǎn)，研究發(fā)現(xiàn)GPT-4聊久了過后，會傾向于反復(fù)說“再見”。如果你不來點(diǎn)兒人為干預(yù)，它就會沉迷于想辦法跟你說再見。
! G+ Q0 g  ]5 Y
而做語義時間演化分析的過程中，團(tuán)隊觀察了隨著時間變化，聊天內(nèi)容的變化。

他們發(fā)現(xiàn)，對話初期的一些關(guān)鍵詞，比如“藝術(shù)”或者“學(xué)習(xí)”啥的，會聊著聊著就被GPT-4忘了，取而代之的是諸如“文化”“人類”“抑制”之類的詞。
$ x( b) X$ L: |& B
) q6 l1 ?7 M+ z9 E! B) d$ Z這表明對話內(nèi)容是在逐漸發(fā)展變化的。

當(dāng)然，如果你開始跟GPT-4說“再見”，它就幾乎一心一意只想跟你說byebye～（doge）
- |' W( e* I# i/ ~$ s$ S
7 w( I3 m% F9 ]' Z/ t! j# R這項火爆全網(wǎng)的研究，來自東京大學(xué)和日本Alternative Machine公司。

" `" k8 P  @- S+ W一作Takahide Yoshida，來自東京大學(xué)通用系統(tǒng)科學(xué)系。

另外兩位作者升森敦士（Atsushi Masumori）和池上高志（Takashi Ikegami），都是既在東京大學(xué)，又屬于Alternative Machine公司。
$ @& s3 N* L5 M
# l  j  I1 U' D9 b2 A

. c- Z* z0 L7 N! W( v

最后，不得不提到本次研究內(nèi)容的主人公Alter3，它的幕后研究者也來自東京大學(xué)，由東京大學(xué)AI研究學(xué)者池上高志和日本“機(jī)器人之父”石黑浩聯(lián)袂打造。

Alter3出生于2020年，是同系列機(jī)器人第三代產(chǎn)品。
; F* B+ U; a  P+ [& a* c
1 b4 o& p# S2 E% ~4 o/ c; E: e據(jù)了解，Alter系列的兩次迭代都是在歌劇演唱中完成的。第3代的初亮相就是在東京新國立劇場指揮管弦樂隊并參加其他現(xiàn)場表演。

0 @; \# t6 e5 M6 c2 P% v* H
0 t7 d& z3 |$ D( G3 Q+ t

那個時候它的特色是增強(qiáng)了傳感器，并改善了唱歌的表達(dá)能力和發(fā)聲系統(tǒng)。

( |1 Z' J% g; V" _以及身體里那粒能夠最終驅(qū)動43個氣動裝置的CPG。

CPG對數(shù)據(jù)的分析靈敏到什么程度呢？就是如果Alter3呆的房間里如果溫度驟降，Alter3會因此打個冷顫，表示自己有被冷到。
6 t; q, q- T. s5 z
5 U. j8 v: f5 P0 z5 F
" a, q  v( u# B4 C! `這或許也為現(xiàn)在接入GPT-4當(dāng)腦子后的它，能夠活靈活現(xiàn)做表情、完成動作提供了一些基礎(chǔ)吧。
! k- O9 b- D, i( d* m9 O' Z% W
7 e8 `8 Z: T) v5 {- t

紫衣青衫

感覺能看到N年后的一點(diǎn)影子了，AI迭代下去智能提升，控制機(jī)器軀殼

喂我袋鹽

紫衣青衫 發(fā)表于 2023-12-22 15:34
感覺能看到N年后的一點(diǎn)影子了，AI迭代下去智能提升，控制機(jī)器軀殼

! h  v  R0 x4 h! w同意，現(xiàn)在看上去還是智障，將來還是會越來越智能的
! L$ U, C2 |0 @

tiantianxs

厲害！科技的力量正在成長