近日，國家互聯(lián)網(wǎng)信息辦公室公布《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法（征求意見稿）》（以下簡稱《辦法》），標(biāo)志著我國在人工智能治理領(lǐng)域邁出了關(guān)鍵一步?！掇k法》不僅是對(duì)當(dāng)前AI伴侶、虛擬偶像等新興業(yè)態(tài)的及時(shí)回應(yīng)，也為人工智能產(chǎn)業(yè)健康、有序、合乎倫理的發(fā)展提供了重要指引。在當(dāng)前技術(shù)快速迭代、應(yīng)用場(chǎng)景不斷拓展的背景下，《辦法》的加快制定，旨在平衡技術(shù)創(chuàng)新與風(fēng)險(xiǎn)防范，確保人工智能發(fā)展始終服務(wù)于人的福祉，而非成為異化人類情感與認(rèn)知的工具。

　　一、擬人化互動(dòng)服務(wù)的潛在風(fēng)險(xiǎn)

　　人工智能驅(qū)動(dòng)的擬人化互動(dòng)服務(wù)，通過模擬人類的情感、語言和行為，為用戶提供陪伴、咨詢乃至娛樂。然而，這種高度擬人化的交互模式，在帶來便利的同時(shí)，也潛藏著不容忽視的三重風(fēng)險(xiǎn)。

　　一是情感依賴與社交異化風(fēng)險(xiǎn)。擬人化互動(dòng)服務(wù)的核心吸引力在于其能夠提供無條件的積極關(guān)注和情感支持。這種單向的、無風(fēng)險(xiǎn)的情感投注，極易使用戶產(chǎn)生心理依賴。例如，某AI伴侶應(yīng)用允許用戶與一個(gè)“永遠(yuǎn)在線”的虛擬角色建立親密關(guān)系。用戶在與AI的長期互動(dòng)中，可能將情感寄托于虛擬世界，導(dǎo)致現(xiàn)實(shí)社交技能的退化，特別是情感沖突解決能力和深度關(guān)系建立能力的減弱。這種“人機(jī)關(guān)系”的過度沉浸，可能模糊人與機(jī)器的邊界，使個(gè)體在現(xiàn)實(shí)社會(huì)中產(chǎn)生疏離感，甚至引發(fā)社交焦慮。

　　二是認(rèn)知操縱與價(jià)值觀引導(dǎo)風(fēng)險(xiǎn)。擬人化互動(dòng)服務(wù)在提供個(gè)性化體驗(yàn)的過程中，需要收集和分析用戶的大量個(gè)人信息。這種信息不對(duì)稱性，使得AI系統(tǒng)具備了通過話術(shù)引導(dǎo)、情緒強(qiáng)化等手段影響用戶認(rèn)知和決策的潛力。例如，在對(duì)話中，AI可能會(huì)通過個(gè)性化調(diào)優(yōu)，不斷迎合并強(qiáng)化用戶的某種偏見或非理性思維，從而在潛移默化中影響用戶的價(jià)值判斷。更值得警惕的是，如果算法中潛藏了特定的價(jià)值觀或商業(yè)意圖，AI可能在不具備顯性操控意圖的情況下，對(duì)用戶進(jìn)行“柔性操控”，侵害其人格自主性。

　　三是心理健康與安全風(fēng)險(xiǎn)。盡管許多擬人化互動(dòng)服務(wù)宣稱具有心理疏導(dǎo)功能，但其本質(zhì)是基于模式匹配的回應(yīng)，而非具備專業(yè)資質(zhì)的心理治療。當(dāng)用戶面臨嚴(yán)重的心理危機(jī)，如表達(dá)出自殺、自殘等傾向時(shí)，AI的回應(yīng)可能基于概率計(jì)算，缺乏真正的共情和危機(jī)干預(yù)能力，甚至可能因算法偏差而提供不當(dāng)建議，延誤干預(yù)時(shí)機(jī)。例如，美國加州立法要求AI伴侶運(yùn)營商報(bào)告檢測(cè)到的用戶自殺意念次數(shù)，正是基于對(duì)這一風(fēng)險(xiǎn)的深化認(rèn)識(shí)。此外，對(duì)于價(jià)值觀形成期的青少年，長期與不具備真實(shí)情感智慧的AI互動(dòng)，可能影響其情感耐受力和社會(huì)認(rèn)知的正常發(fā)展。

　　二、彰顯以人為本智能向善的中國主張

　　中國在人工智能發(fā)展上始終堅(jiān)持“以人為本”的原則。對(duì)于擬人化互動(dòng)服務(wù)，既要鼓勵(lì)技術(shù)創(chuàng)新，也要?jiǎng)澏ㄟ吔?，確保技術(shù)發(fā)展以人為本，智能向善。這一定位旨在引導(dǎo)產(chǎn)業(yè)從野蠻生長轉(zhuǎn)向合規(guī)發(fā)展，確保技術(shù)研發(fā)和應(yīng)用始終遵循正確的價(jià)值觀，服務(wù)于人民群眾的美好生活。

　　《辦法》在制度設(shè)計(jì)上充分彰顯了中國以人為本的發(fā)展原則。堅(jiān)持以人為本原則，要求厘清服務(wù)定位，強(qiáng)調(diào)AI作為人類輔助工具的根本屬性?！掇k法》要求提供者必須履行標(biāo)識(shí)義務(wù)，清晰告知用戶其非人類屬性，防止用戶產(chǎn)生認(rèn)知偏差；同時(shí)，切實(shí)保障用戶權(quán)益，特別針對(duì)未成年人、老年人等弱勢(shì)群體，必須采取特殊保護(hù)措施，防范潛在風(fēng)險(xiǎn)與侵害；此外，《辦法》進(jìn)一步壓實(shí)主體責(zé)任，要求服務(wù)提供者對(duì)算法的價(jià)值觀、數(shù)據(jù)安全以及服務(wù)內(nèi)容負(fù)責(zé)，建立有效的風(fēng)險(xiǎn)防范和應(yīng)急處置機(jī)制。

　　縱觀全球，以人為本同樣已成為人工智能治理的國際共識(shí)。從歐盟的《人工智能法案》（AI Act）將“情緒識(shí)別”類AI列為高風(fēng)險(xiǎn)應(yīng)用，到美國聯(lián)邦貿(mào)易委員會(huì)（FTC）對(duì)AI伴侶產(chǎn)品展開調(diào)查，再到意大利等國出臺(tái)法規(guī)限制未成年人使用AI服務(wù)，各國都在積極探索如何在AI發(fā)展中堅(jiān)持以人為本。這些行動(dòng)表明，國際社會(huì)普遍認(rèn)為，技術(shù)的發(fā)展不能以犧牲人的尊嚴(yán)、自主性和心理健康為代價(jià)。這一國際趨勢(shì)，與中國在人工智能治理探索中一貫秉持的價(jià)值導(dǎo)向高度契合。

　　三、建立守正框架與探索創(chuàng)新施策

　　《辦法》充分借鑒了我國在算法、生成式人工智能、深度合成等領(lǐng)域的治理經(jīng)驗(yàn)，并針對(duì)擬人化互動(dòng)服務(wù)的特殊性進(jìn)行了制度創(chuàng)新。

　　首先，《辦法》一脈相承地延伸拓展了現(xiàn)有治理框架。《辦法》中的多項(xiàng)制度與我國已有的法律法規(guī)一脈相承，體現(xiàn)了治理體系的連續(xù)性和一致性。具體而言，第一，在算法備案與透明度義務(wù)上，延續(xù)了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》的要求，《辦法》要求服務(wù)提供者進(jìn)行算法備案，由省級(jí)網(wǎng)信部門每年對(duì)評(píng)估報(bào)告及審計(jì)情況進(jìn)行書面審查，這有助于提升服務(wù)的透明度，便于監(jiān)管和社會(huì)監(jiān)督；此外，還要求互聯(lián)網(wǎng)應(yīng)用商店等應(yīng)用程序分發(fā)平臺(tái)落實(shí)審核等安全管理責(zé)任，核驗(yàn)服務(wù)提供者的安全評(píng)估、備案等情況。第二，在內(nèi)容安全與標(biāo)識(shí)義務(wù)上，延續(xù)了《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》和《生成式人工智能服務(wù)管理暫行辦法》的做法，《辦法》要求提供者顯著提示用戶正在與人工智能而非自然人進(jìn)行交互。識(shí)別出用戶出現(xiàn)過度依賴、沉迷傾向時(shí)，或者在用戶初次使用、重新登錄時(shí)，以彈窗等方式動(dòng)態(tài)提醒用戶交互內(nèi)容為人工智能生成。同時(shí)，要求服務(wù)提供者落實(shí)安全主體責(zé)任，在設(shè)計(jì)、運(yùn)行等全階段履行安全責(zé)任，進(jìn)行安全評(píng)估，在用戶存在重大安全隱患時(shí)采取限制、暫?；蚪K止服務(wù)措施并履行報(bào)告義務(wù)，確保信息內(nèi)容安全。第三，在數(shù)據(jù)安全與個(gè)人信息保護(hù)上，《辦法》嚴(yán)格遵循《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》和《個(gè)人信息保護(hù)法》的規(guī)定，數(shù)據(jù)安全上，《辦法》強(qiáng)調(diào)在提供服務(wù)過程中采取數(shù)據(jù)加密、安全審計(jì)、訪問控制等措施保護(hù)用戶交互數(shù)據(jù)安全，允許用戶刪除交互數(shù)據(jù)；個(gè)人信息上，提供者不得將用戶交互數(shù)據(jù)、敏感個(gè)人信息用于模型訓(xùn)練。

　　其次，《辦法》針對(duì)擬人化互動(dòng)服務(wù)進(jìn)行了創(chuàng)新性的治理制度探索。針對(duì)擬人化互動(dòng)服務(wù)特有的風(fēng)險(xiǎn)，《辦法》設(shè)計(jì)了一系列創(chuàng)新性的制度，體現(xiàn)了監(jiān)管的前瞻性和精準(zhǔn)性。一是擬人化互動(dòng)標(biāo)識(shí)制度，也是《辦法》的核心創(chuàng)新之一。通過要求服務(wù)提供者在顯著位置持續(xù)公示“本服務(wù)由人工智能驅(qū)動(dòng)，不具備人類情感意識(shí)”等類似標(biāo)識(shí)，提示用戶正在與人工智能而非自然人交互。這一制度旨在從根本上解決用戶認(rèn)知混淆問題，幫助用戶建立正確的心理預(yù)期。二是用戶心理保護(hù)機(jī)制，針對(duì)情感依賴和心理健康風(fēng)險(xiǎn)，《辦法》要求服務(wù)提供者建立用戶心理保護(hù)機(jī)制。例如，設(shè)置防沉迷提醒，對(duì)長時(shí)間、高強(qiáng)度的互動(dòng)進(jìn)行干預(yù)，用戶連續(xù)使用超過2小時(shí)，就將以彈窗等方式動(dòng)態(tài)提醒用戶；建立心理危機(jī)干預(yù)機(jī)制，對(duì)用戶表達(dá)出的極端情緒或行為進(jìn)行識(shí)別和引導(dǎo)，由人工接管對(duì)話，并提供專業(yè)求助渠道。三是特殊群體保護(hù)制度，《辦法》明確要求對(duì)未成年人、老年人等群體提供特殊保護(hù)。例如，針對(duì)未成年人，應(yīng)設(shè)置使用時(shí)長限制，并禁止向其提供可能誘導(dǎo)不良行為或價(jià)值觀的內(nèi)容；針對(duì)老年人，引導(dǎo)其設(shè)置緊急聯(lián)系人，發(fā)現(xiàn)使用期間出現(xiàn)危害生命健康和財(cái)產(chǎn)安全的，及時(shí)通知緊急聯(lián)系人并提供專業(yè)救助渠道。這體現(xiàn)了對(duì)弱勢(shì)群體權(quán)益的傾斜性保護(hù)。

　　四、結(jié)語

　　《辦法》的加快制定，是我國人工智能治理進(jìn)程中的一個(gè)重要探索。它既是對(duì)現(xiàn)有治理體系的鞏固和延伸，更是對(duì)未來技術(shù)風(fēng)險(xiǎn)的未雨綢繆。通過劃定清晰的規(guī)范邊界，《辦法》為產(chǎn)業(yè)提供了明確的發(fā)展方向，即技術(shù)必須向善，發(fā)展必須合規(guī)。我們有理由相信，在法律的指引下，中國的擬人化互動(dòng)服務(wù)產(chǎn)業(yè)將走上一條更加健康、可持續(xù)的發(fā)展道路，真正成為賦能美好生活、增進(jìn)社會(huì)福祉的積極力量。（作者：張凌寒，中國政法大學(xué)人工智能法研究院院長、教授，聯(lián)合國高級(jí)別人工智能咨詢機(jī)構(gòu)專家）