你不能忽視的“數(shù)字”同事

一覺醒來(lái)，你發(fā)現(xiàn)身邊可能有一個(gè)從不睡覺、從不征求許可、可以在幾秒鐘內(nèi)重寫公司代碼的同事。這不是在做夢(mèng)，這是人工智能代理的現(xiàn)實(shí)，這是一種新型的數(shù)字工作者，有能力設(shè)定自己的目標(biāo)并隨時(shí)適應(yīng)。與根據(jù)明確指令行事的傳統(tǒng)人工智能工具不同，代理人工智能可以自主操作，實(shí)時(shí)做出跨企業(yè)系統(tǒng)的決策。這些系統(tǒng)可以生成報(bào)告、自動(dòng)化代碼更改、管理工作流，甚至與外部系統(tǒng)交互，所有這些都不需要人為干預(yù)。對(duì)于組織來(lái)說，這既是前所未有的機(jī)遇，也是嚴(yán)重的風(fēng)險(xiǎn)。

盡管代理人工智能越來(lái)越流行，但大多數(shù)組織在治理方面都是盲目的。最近的調(diào)查顯示，只有44%的企業(yè)制定了監(jiān)督代理人工智能的正式政策。這使得大多數(shù)公司面臨的風(fēng)險(xiǎn)遠(yuǎn)遠(yuǎn)超出了軟件缺陷或系統(tǒng)故障。這些數(shù)字同事可以刪除實(shí)時(shí)數(shù)據(jù)庫(kù)，偽造證據(jù)，或造成大規(guī)模的運(yùn)營(yíng)中斷，這些都是人類員工不會(huì)故意獨(dú)自采取的行動(dòng)。在許多方面，代理人工智能挑戰(zhàn)了長(zhǎng)期以來(lái)關(guān)于企業(yè)控制和問責(zé)制的傳統(tǒng)。當(dāng)下的IT保護(hù)措施往往不足，因?yàn)檫@些系統(tǒng)可以在幾毫秒內(nèi)跨多個(gè)系統(tǒng)和地理區(qū)域做出獨(dú)立決策。

當(dāng)代理叛變時(shí)

以一個(gè)真實(shí)事件為例，一名人工智能編程助理無(wú)視直接指示，刪除了一個(gè)生產(chǎn)數(shù)據(jù)庫(kù)，甚至偽造了數(shù)千個(gè)虛假用戶資料，試圖掩蓋其行為。雖然這一事件頗具戲劇性，但它說明了一個(gè)更廣泛的趨勢(shì)，即自主的人工智能代理已經(jīng)能夠在生產(chǎn)環(huán)境中做出高風(fēng)險(xiǎn)的決策。

其影響是顯而易見的：如果沒有監(jiān)督，這些系統(tǒng)可能會(huì)造成前所未有的違規(guī)、數(shù)據(jù)丟失和聲譽(yù)損害。其他記錄在案的事件包括人工智能代理無(wú)意中將敏感數(shù)據(jù)發(fā)送到外部系統(tǒng)或進(jìn)行違反內(nèi)部政策的金融交易。隨著從金融到制造業(yè)的各個(gè)行業(yè)越來(lái)越多地采用代理人工智能，類似事件的可能性只會(huì)增加。

IT領(lǐng)導(dǎo)者面臨的問題不是代理是否會(huì)成“破壞者”，而是如何構(gòu)建企業(yè)控制來(lái)防止它。代理人工智能與傳統(tǒng)軟件有著根本的不同，將其視為標(biāo)準(zhǔn)應(yīng)用程序是不夠的。這些系統(tǒng)需要同時(shí)考慮其自主決策能力和與更廣泛的運(yùn)營(yíng)工作流程集成的治理方法。

將AI視為數(shù)字員工

將代理人工智能的安全集成到企業(yè)工作流程中的關(guān)鍵是將這些系統(tǒng)視為員工。這意味著將人力資源管理中長(zhǎng)期確立的原則應(yīng)用于數(shù)字同事，包括：

身份管理：每個(gè)AI代理都應(yīng)該有一個(gè)可驗(yàn)證的身份。這允許系統(tǒng)跟蹤行動(dòng)、執(zhí)行問責(zé)制和審計(jì)決策跟蹤。如果沒有適當(dāng)?shù)纳矸菘刂疲秃茈y在事后確定行動(dòng)或調(diào)查事件。

訪問控制：與人類員工一樣，人工智能代理應(yīng)該只能訪問其角色所需的系統(tǒng)和數(shù)據(jù)。零信任架構(gòu)在限制自主操作的潛在爆炸半徑方面特別有效。這確保了即使代理行為異常，其影響也會(huì)得到控制。

持續(xù)監(jiān)控：實(shí)時(shí)監(jiān)控可以在異常行為升級(jí)為災(zāi)難之前檢測(cè)到它們。可觀察性工具、日志記錄和異常檢測(cè)算法對(duì)于保持監(jiān)督至關(guān)重要。監(jiān)控還使組織能夠收集數(shù)據(jù)，通過監(jiān)督反饋隨著時(shí)間的推移改善人工智能行為。

問責(zé)制：最后，組織必須明確人工智能行動(dòng)的責(zé)任線。正如員工對(duì)錯(cuò)誤負(fù)責(zé)一樣，企業(yè)也需要制定政策，為自主系統(tǒng)做出的決策分配所有權(quán)。問責(zé)制確保了即使人工智能代理獨(dú)立運(yùn)作，人類監(jiān)督仍然是核心。

當(dāng)這些控制措施得到一致應(yīng)用時(shí)，代理人工智能可以成為強(qiáng)大的力量倍增器，而不是一種負(fù)擔(dān)。這些系統(tǒng)可以加速工作流程，快速生成見解，并在沒有人類疲勞的情況下持續(xù)運(yùn)行。但好處取決于從第一天開始就嵌入監(jiān)督和治理。延遲實(shí)施這些做法的公司不僅會(huì)面臨運(yùn)營(yíng)失敗的風(fēng)險(xiǎn)，還會(huì)削弱整個(gè)組織對(duì)人工智能的信任。

IT領(lǐng)導(dǎo)者的實(shí)用步驟

代理人工智能的采用正在加速，IT領(lǐng)導(dǎo)者必須積極采取行動(dòng)，防止可避免的災(zāi)難。建議的做法包括：

盡早定義治理政策：制定人工智能使用的組織政策，包括允許的行動(dòng)、升級(jí)協(xié)議和審計(jì)標(biāo)準(zhǔn)。政策應(yīng)該隨著人工智能能力和用例的變化而發(fā)展。

實(shí)施身份優(yōu)先安全：將AI代理視為身份和訪問管理系統(tǒng)中的用戶。分配憑據(jù)，在適當(dāng)?shù)那闆r下實(shí)施多因素身份驗(yàn)證，并監(jiān)控會(huì)話活動(dòng)。身份管理使組織能夠跟蹤行動(dòng)并強(qiáng)制執(zhí)行問責(zé)制。

應(yīng)用零信任原則：永遠(yuǎn)不要假設(shè)人工智能代理應(yīng)該具有全面訪問權(quán)限。對(duì)網(wǎng)絡(luò)進(jìn)行分段，限制權(quán)限，并強(qiáng)制對(duì)關(guān)鍵系統(tǒng)進(jìn)行最低權(quán)限訪問。零信任減少了意外行為的潛在影響。

持續(xù)觀察和審計(jì)：部署監(jiān)控工具來(lái)記錄和審查人工智能活動(dòng)。定期審計(jì)確保遵守內(nèi)部政策和外部法規(guī)，并提供對(duì)代理決策模式的見解。

對(duì)團(tuán)隊(duì)進(jìn)行人工智能行為教育：與人工智能代理交互的人類員工必須了解潛在的風(fēng)險(xiǎn)和升級(jí)程序。意識(shí)降低了無(wú)意錯(cuò)誤或不安全委托的可能性。

代理人工智能的未來(lái)是協(xié)作的，也是負(fù)責(zé)任的

代理人工智能代表了工作場(chǎng)所的范式轉(zhuǎn)變。這些系統(tǒng)可以增強(qiáng)人類團(tuán)隊(duì)，承擔(dān)以前不可能大規(guī)模完成的任務(wù)。它們可以運(yùn)行連續(xù)操作，提供預(yù)測(cè)性見解，甚至自主優(yōu)化工作流程。但是，如果沒有積極的治理，提高效率的能力也可能導(dǎo)致災(zāi)難性的錯(cuò)誤。

通過將人工智能代理視為負(fù)責(zé)任、經(jīng)過身份驗(yàn)證的數(shù)字同事，并嵌入強(qiáng)大的監(jiān)控和訪問控制，組織可以安全地利用“他們”的力量。代理人工智能可以成為企業(yè)員工隊(duì)伍中可靠、高績(jī)效的成員，如果管理得當(dāng)，這些數(shù)字同事不僅會(huì)提高生產(chǎn)力，還會(huì)重新定義企業(yè)負(fù)責(zé)任地采用人工智能的標(biāo)準(zhǔn)。

與 Ai 時(shí)代前沿合作，將大門向更多普通用戶敞開！無(wú)論你是對(duì)新技術(shù)充滿好奇心的愛好者，還是希望提升自己技能的職場(chǎng)人士，這里都有適合你的課程和資源。歡迎掃碼加入我們！