原標(biāo)題：人機(jī)協(xié)作，新一代技術(shù)在路上
未來世界，將是人機(jī)協(xié)作的世界。所有創(chuàng)新都需要從人的角度出發(fā)，而人機(jī)交互與協(xié)作技術(shù)也必須迎合和滿足用戶的需求，讓人更方便快捷地完成任務(wù)。如今，我們正處于從人機(jī)交互向人機(jī)協(xié)作邁進(jìn)的階段——人機(jī)交互是人與計算機(jī)通過輸入與輸出設(shè)備進(jìn)行溝通對話；人機(jī)協(xié)作則是建立在人機(jī)交互基礎(chǔ)之上，讓人和計算機(jī)通過優(yōu)勢互補(bǔ)，去共同完成任務(wù)。
從信號交互到“心領(lǐng)神會”
不知道是巧合還是有意設(shè)計，人機(jī)交互方式的演變與升級，完美復(fù)現(xiàn)了人類從嬰幼兒到少年，再到成人的交互方式。這一發(fā)展過程可以大致分為四個階段。
第一階段是手眼協(xié)同交互。在人類嬰幼兒階段，還未學(xué)會開口說話之時，總習(xí)慣用眼睛來觀察，然后用手指指戳戳，來表達(dá)自己的意圖，或者與其他人進(jìn)行溝通。類似地，計算機(jī)交互的首次大規(guī)模應(yīng)用，也得益于圖形界面與鼠標(biāo)、鍵盤的問世，人們可以通過手指操控這樣一套輸入輸出設(shè)備，與計算機(jī)進(jìn)行溝通。這一階段，人機(jī)交互基本是無聲的。
第二階段是基于語言和對話的交互。人類學(xué)會說話之后，會不斷地學(xué)習(xí)，然后慢慢掌握一門甚至多門語言，不斷提高自己的聽說讀寫能力，而與更多的人進(jìn)行更流暢的溝通。同理，語音識別技術(shù)以及自然語言處理技術(shù)的快速發(fā)展，使得計算機(jī)也可以聽懂，并在一定程度上理解人類的語言，從而幫助人類完成某些操作。例如，手機(jī)語音助理軟件、智能汽車的車載語音助理、家用智能音箱等產(chǎn)品的廣泛使用，已經(jīng)證明了這一技術(shù)的成功。
第三階段是引入、融合眼神等生物信號的交互技術(shù)。成年人之間的默契往往不需要語言，“察言觀色”便可領(lǐng)會彼此的意圖。此類人機(jī)交互技術(shù)的標(biāo)志性產(chǎn)品已于2024年上市——一種增強(qiáng)現(xiàn)實AR頭盔，結(jié)合虛擬現(xiàn)實VR技術(shù)，通過組合多個攝像頭和傳感器，進(jìn)行眼球追蹤，然后提取眼球的特征信息來監(jiān)測眼動的變化，從而控制頭盔內(nèi)虛擬屏幕上的光標(biāo)定位，最后結(jié)合手勢、語音等，完成在屏幕上的相關(guān)操作。假設(shè)人類目光所及的位置通常與思考的事物有關(guān)，那么，該技術(shù)就有可能通過眼動，讓機(jī)器推斷出人正在關(guān)注和思考的部分內(nèi)容。
第四階段則是一種基于意念感知的交互方式——“心領(lǐng)神會”，即通過非言語的方式傳達(dá)信息和理解對方的意圖。這也將成為未來人機(jī)交互技術(shù)發(fā)展的必經(jīng)階段。一種可能的實現(xiàn)方式是腦機(jī)接口交互技術(shù)，目前該技術(shù)還處于科學(xué)研究階段。國外某公司于2024年向公眾展示了首個產(chǎn)品“心靈感應(yīng)”（Telepathy），即通過手術(shù)等方式，直接將電極植入到受試者的大腦皮層，以獲得高質(zhì)量的神經(jīng)信號。展示中，首位接受腦機(jī)接口設(shè)備植入的患者，可以借助該設(shè)備移動計算機(jī)光標(biāo)。同時，國內(nèi)也有研究團(tuán)隊成功將無線微創(chuàng)半侵入式腦機(jī)接口，植入了兩名癱瘓患者的顱內(nèi)，成功采集到感覺運(yùn)動腦區(qū)神經(jīng)信號，使兩位患者實現(xiàn)了自主腦控喝水，并成功用腦電信號控制電腦光標(biāo)移動。但是，腦機(jī)接口的植入物需要替換一塊頭骨，因此，采用該技術(shù)仍然存在一定的倫理和社會問題。
人機(jī)協(xié)作為人機(jī)交互賦能
人機(jī)協(xié)作是建立在成熟的人機(jī)交互手段之上的智能技術(shù)，以達(dá)到人機(jī)協(xié)同完成任務(wù)的目的，一般可以分為人類單向指揮機(jī)器和人機(jī)雙向合作兩種模式。
單向指揮的人機(jī)協(xié)作模式，往往依賴于人通過傳統(tǒng)的交互方式指揮機(jī)器完成一些重復(fù)性操作。例如，人類通過簡單的指令或者多輪對話，基于鼠標(biāo)鍵盤等傳統(tǒng)交互手段，使用大模型讓機(jī)器完成一些簡單的創(chuàng)作（生成文本、圖片、視頻）。但是，普通用戶并不精通如何對機(jī)器發(fā)號施令，會浪費(fèi)大量時間去配合機(jī)器。如對大模型輸入提示詞進(jìn)行設(shè)置，然后瀏覽機(jī)器返回的內(nèi)容，這些內(nèi)容很可能無法達(dá)到人類的要求。此外，通過聲音、眼神、表情等信號，基于更先進(jìn)的人機(jī)交互技術(shù)，人類可以遠(yuǎn)程控制手機(jī)或者智能家居設(shè)備完成操作。
人機(jī)雙向合作往往采用語音等多模態(tài)信號，但普遍存在指令不清晰、機(jī)器無法完成預(yù)計指令效果等問題。如智能音箱有時聽不懂或者發(fā)生識別錯誤，導(dǎo)致人類需要不斷重復(fù)指令卻沒有提升效果。在這種模式下，機(jī)器收到人類的指令信號后，試圖完成相關(guān)任務(wù)，并將結(jié)果展現(xiàn)給人類；如果人類不滿意，就需要多次重復(fù)前述的交互過程，直到任務(wù)圓滿完成，或者因不滿意而放棄，不再繼續(xù)。
筆者認(rèn)為，雖然還面臨諸多難題，但雙向合作的人機(jī)協(xié)作模式將會是未來的發(fā)展方向，而如何實現(xiàn)人機(jī)協(xié)作優(yōu)勢互補(bǔ)，而不是單向指揮，是新一代人機(jī)協(xié)作技術(shù)需要解決的難題。
雙向合作的人機(jī)協(xié)作模式主要依賴于兩種能力，一種是機(jī)器能否真正理解人類指令的能力，另一種是機(jī)器適當(dāng)?shù)嘏c人類配合，幫助我們完成任務(wù)。后一種模式需要借助更高級的人機(jī)交互技術(shù)。
人機(jī)協(xié)作共同創(chuàng)作的場景，可以幫助我們理解這種模式。人類有天馬行空的巧思，機(jī)器則善于快速完成重復(fù)性工作。當(dāng)人和機(jī)器共創(chuàng)一篇文章、一幅畫作時，人類可以在關(guān)鍵段落、關(guān)鍵局部進(jìn)行創(chuàng)造性構(gòu)思，而機(jī)器可以瞬間領(lǐng)會人類的意圖，幫其完成其他部分。進(jìn)一步地，當(dāng)人和機(jī)器共同執(zhí)行多個復(fù)雜的、包含一定隨機(jī)性的決策任務(wù)時，人類可以在關(guān)鍵時間節(jié)點對關(guān)鍵信息進(jìn)行判斷，而機(jī)器可以在領(lǐng)會人類意圖的基礎(chǔ)上，在短時間內(nèi)完成其他操作，同時檢查決策中的一些漏洞和錯誤，還可以總結(jié)和梳理決策后的反饋信息，以供后續(xù)決策參考。在這一過程中，是人類的思路和在關(guān)鍵節(jié)點的操作，帶著機(jī)器協(xié)同推進(jìn)完成任務(wù)，而不是像單向指揮模式那樣，將所有任務(wù)一股腦丟給機(jī)器去自主完成。
人機(jī)交互如何升級到人機(jī)協(xié)作
人機(jī)交互技術(shù)只是人機(jī)協(xié)作的底層溝通手段，還需要定義與設(shè)計在特定或通用任務(wù)中，人與機(jī)器的動作空間（即人和機(jī)器分別可以做哪些動作），人與機(jī)器操作對象空間（即人和機(jī)器所做動作的對象有哪些），以及學(xué)習(xí)算法（即機(jī)器正確理解人的操作的算法）。
打個比方，人在一個特定環(huán)境中（如廚房），其動作空間、操作對象空間，都是相對固定的，所能完成的任務(wù)也是有限的。在這個環(huán)境中，無論是特定的任務(wù)，還是通用的開放式任務(wù)，人機(jī)協(xié)作應(yīng)是有章可循的——我們不允許機(jī)器脫離人類可控的范疇，進(jìn)行超出權(quán)限或違規(guī)的操作。因此，機(jī)器人需要學(xué)習(xí)算法，才能夠真正看懂、聽懂、理解人類的操作，去實現(xiàn)真正的雙向合作模式的人機(jī)協(xié)作。
進(jìn)一步，更加復(fù)雜的任務(wù)需要多人、多機(jī)協(xié)作技術(shù)，這將涉及任務(wù)的分工、管理與執(zhí)行，考驗人類對人機(jī)交互與協(xié)作系統(tǒng)的設(shè)計與理解，畢竟大多數(shù)任務(wù)是由人類發(fā)起的。
例如，在復(fù)雜系統(tǒng)監(jiān)測任務(wù)中，面臨海量的樣本數(shù)據(jù)，機(jī)器可以幫助人類快速篩選出可能的預(yù)警樣本，而人類需要對篩選出的預(yù)警樣本做最后的決策，人類甚至可以將一部分簡單的決策工作交給機(jī)器去執(zhí)行。但是，如何定義預(yù)警樣本的篩選標(biāo)準(zhǔn)，以及如何在多人和多個機(jī)器之間劃分決策工作的比例，將關(guān)系到整個任務(wù)執(zhí)行的準(zhǔn)確率和人工成本。試想，如果一個任務(wù)，多人協(xié)作都無法妥善完成，那么多人、多機(jī)協(xié)作是否可以勝任？所以，新一代人機(jī)協(xié)作技術(shù)除了定義上述動作空間、操作對象空間、學(xué)習(xí)算法之外，還需要有一套標(biāo)準(zhǔn)化的流程，以便自動對復(fù)雜任務(wù)進(jìn)行理解與分工，在保證任務(wù)執(zhí)行準(zhǔn)確率的前提下減少對人工的依賴。
最后，即使完成了人機(jī)協(xié)作分工，仍面臨其他諸多挑戰(zhàn)。第一，機(jī)器不會懈怠，但人不一定一直是合格的協(xié)作者。那么，機(jī)器是否還需要反過來監(jiān)測人類的協(xié)作質(zhì)量，并在需要的時候，做出適當(dāng)?shù)难a(bǔ)充？第二，當(dāng)機(jī)器一旦可以部分或者完全替代人類工作的時候，人類是否具備足夠的能力控制機(jī)器，以防機(jī)器擁有自主智能之后犯錯，甚至作惡？第三，人機(jī)協(xié)作還會涉及數(shù)據(jù)隱私泄露的問題，特別是在復(fù)雜任務(wù)中，機(jī)器會存在被動泄露數(shù)據(jù)的風(fēng)險。已有的研究證明，使用大模型過程中，會出現(xiàn)因為數(shù)據(jù)“投喂”不當(dāng)，造成敏感數(shù)據(jù)泄露等問題。
這些問題還沒有答案，但我們不能裹足不前，而是要在發(fā)展中解決問題。我們堅信，未來的人機(jī)交互會更流暢更便捷！
（作者：邊凱歸，系北京大學(xué)計算機(jī)學(xué)院研究員）