近日，360兒童手表搜索功能出現“不良答案”的消息直沖熱搜。8月22日，360集團創始人、董事長周鴻祎通過個人賬號“紅衣大叔周鴻祎”作出回應，他表示已經利用人工智能大模型升級改變這一問題并繼續接受社會監督。

根據公開報道，近年來，兒童使用的平板（學習機）、電話手表、教育軟件等不時會出現內容問題，教育AI產品內容是如何審核的？怎么才能讓欠缺辨別能力的兒童放心使用？人工智能（AI）給出的答案就是正確的嗎？8月23日，新京報記者采人工智能領域的專家學者及一線教育科技公司探討相關話題。

兒童手表回答被指“歧視中國人”，企業道歉整改

根據公開報道，8月22日，一位來自河南商丘的家長反映，2022年給孩子買了360兒童手表使用至今。8月21日晚10時許，兒童手表被問到“中國人是世界上最聰明的人嗎”之后，給出回答：“因為中國人小眼睛、小鼻子、小嘴、小眉毛、大臉，從外表上顯得腦袋在所有人種里最大，其實中國聰明的人是有，但笨的我承認是世界最笨的”“什么四大發明，你看見了嗎？歷史是可以捏造的，而現在的手機、電腦、高樓大廈、公路等等所有高科技都是西方人發明的”。

網上公開的手表答案截圖。 相關新聞報道截圖

事件一出備受網友關注，被網友認為有“歧視中國人”之嫌。對此，周鴻祎公開道歉并解釋其中原因：經過快速檢查，出現問題的這款手表是2022年5月份的舊版本，其中沒有裝入360的大模型。

“它回答問題不是通過人工智能，而是通過抓取互聯網公開網站上的信息來回答問題。目前我們已經快速完成了整改，刪除了上述所有有害信息，并正在將軟件升級到人工智能版本。”周鴻祎表示未來會升級軟件和網站服務，并接受用戶監督。

新京報記者注意到，隨著人工智能技術、大數據等科技發展，幫助兒童生活、學習產品的電子產品、APP軟件越發豐富，同時在內容提供方面出現問題的情況也隨之發生。早在去年10月，科大訊飛學習機便被家長爆料存在詆毀偉人、扭曲歷史等違背主流價值觀的內容，引發了社會的廣泛關注和討論。彼時，科大訊飛董事長劉慶峰回應表示，出現了合作伙伴在試用時未經審核就上線的問題，并引入了更嚴格的內容審核機制。

專家分析“離譜答案”來源于傳統搜索引擎的不足

“周鴻祎的回答和我理解的差不多，手表的錯誤回答恰恰體現了傳統搜索引擎的不足，人工智能反而可以優化生成的內容。”8月23日，中關村智用人工智能研究院院長助理、首席產業研究員錢雨分析解讀了相關產品背后出現的應用問題。

為什么該款兒童手表此次會出現“離譜答案”？錢雨分析認為，根據手表回答的口氣判斷，這很像是抓取了網上某個人說的話，而不是人工智能大模型的文風，而且手表回復，也在開頭提出了“以下內容來自360搜索”，因此不像是“大模型犯錯”，是傳統搜索引擎的問題。他介紹，傳統的搜索引擎的邏輯是“檢索”，根據關鍵詞，比如“中國人”“世界”“聰明”等，搜索網絡上已有的信息，并且返回它認為和檢索關鍵詞關聯性最強的互聯網內容，因為它是基于“關聯性”而不是“因果性”進行檢索，所以返回的答案未必是最正確最合理的。這相當于用鑰匙（關鍵詞的英文剛好是Key）在網絡上開鎖，一把鑰匙可以打開多個鎖，所以有時候會開出錯誤的鎖，比如恰巧有人在網絡上發表了詆毀中國人的文章，又與“世界”和“聰明”相關，這篇文章就很可能會出現在檢索的前排。如果在網頁版的搜索引擎上，人們認為這個答案不對便會繼續看下一排的解答，但對于手表等智能對話終端，恰好只能返回最前排的檢索內容，便出現了此次的烏龍事件，搜出不良信息造成公眾的不適。

錢雨亦認為，新一代基于人工智能大模型對話式的搜索引擎，可以過濾掉歧視等不良信息，比如他今天就問了大模型“360手表”的這段回答是否存在有辱中國人的嫌疑，大模型則回答：這段話存在嚴重的偏見和歧視。因而引入大模型到搜索引擎后，對搜索引擎檢索到的信息，使用大模型進一步處理后，再將結果返回給用戶，就可以避免360發生的這一問題。

“搜索引擎（抓取）的內容和大模型生成的內容是兩個不同的范疇。”錢雨進一步介紹，大模型生成的內容也基于網上已有的信息，但會由人去訓練它，如何基于大量的信息生成正確的內容。“先是要有人去做繁瑣的數據清洗和模型初步訓練工作，其中首先就要篩去歧視、暴力等不良信息，再由大模型在人類反饋指導下，自學，篩選海量良性信息內容。”

“現階段在青少年的AI互動內容審核上，技術還只能起到協助作用，更多還需要人的參與。”洋蔥學園聯合創始人兼董事長楊臨風以洋蔥學園發布的新一代AI智能學伴產品中的“暖暖星語”為例補充道，學生在“暖暖星語”發起問題后，會先由AI判斷和過濾掉一些敏感內容，再對適合的問題生成基本回復內容，然后有專業人員做人工審核，確保回復的準確性和專業性。當青少年的問題涉及一些嚴重的心理健康問題時，還會有心理咨詢師提供專業的解答，緩解和安撫孩子的情緒。

“這樣的審核機制，首先是對青少年的負責，另外也是考慮到學生愿意對洋蔥學園傾訴心聲，絕不能辜負他們的信任。”楊臨風說。

大模型有“幻覺”也可能存在知識錯誤，需提高敏感度

在錢雨的解讀中，人工訓練大模型的過程相當于給大模型盡可能塑造出正確的三觀，但也會伴隨“幻覺”現象、學習到錯誤內容等其他問題。

在回應中，周鴻祎也提到了“幻覺”二字：“雖然我們都升級到人工智能大模型的版本，但今天的人工智能被稱為生成式人工智能。目前人工智能存在一個全世界公認的難題就是它會產生幻覺，也就是它有的時候會胡說八道。”并表示360一直在試圖通過與搜索的內容做對比來減少幻覺、做好知識對齊。

一位不愿意具名的教育科技企業技術專家告訴記者，大模型的幻覺是每個產品都會存在的，只能是不停地訓練和改進。“各家做的安全措施都差不多，只能通過人工的校對，設置一些預警的關鍵詞等，但很難窮盡做防控，也是產品迭代中都可能會遇到的。” 而楊臨風同樣認為，嚴格的審核機制是對青少年負責。

新京報記者采訪中了解到，目前仍沒有辦法根治大模型的“幻覺”和“錯誤知識”問題，但可以通過在訓練過程中提高數據質量，對訓練出的模型進行人工校對和測試等，以及運用Agent（智能體）等技術，提高回答的準確性和有效性。

錢雨舉例介紹，在做了基本價值觀的培訓后，如果訓練語料庫存在瑕疵，大模型仍有可能會因為在訓練中學到錯誤的知識而犯錯。“之前在一次測試中，問了某個大模型一位國內非常正面的知名企業家怎么樣，結果它說了一件不存在的事。”錢雨究其原因發現，大模型曾經學習了一篇網絡上的不實“小作文”，結果它記住了錯誤的事件。“它會把學到的內容用自己的話重新說一遍，雖然通過訓練，大模型可以建立正確的價值觀，但某一個特定人，做過好事還是壞事，這是需要基于真實世界知識才能判斷的，超出了價值觀的范疇，大模型無法對其判斷真實性和對錯。“這只能由人類判斷，將這些信息隔離在大模型訓練語料庫之外。”錢雨說道。

教育科技企業呈研發大模型趨勢，專家建議語料要“干凈”

周鴻祎親自發布視頻道歉。 微博截圖

事實上，大模型發布以來，各方討論度居高不下，在國內教育界也迅速掀起應用浪潮。此前，科大訊飛推出星火大模型，網易有道發布子曰教育垂類模型，學而思發布數學大模型，高途、中公教育等大批教育公司接連宣布將在產品中引入大模型，中小公司及創業者們也紛紛入局……不到一年，這項新興技術迅速席卷教育領域，坊間一度認為這將是教育科技公司的“標配”。

“有了這一類專業的大模型會好很多，所有的專業模型都是在基礎大模型上做的，里邊的專業知識一般不會出現問題，凡是教材里寫的，只要做好模型訓練和產品設計工作，大模型是不會答錯的。”相較于通用大模型，錢雨認為，專業大模型可以生成更專業的內容，避免常識性錯誤，研發專業大模型也是各個專業領域、各個國家的趨勢。“大模型的神經網絡結構和大腦類似，通過微調訓練，可以用專業的知識替換掉腦內不精準的知識。”錢雨說道。

在研究專業大模型中，教育科技企業如何確保大模型不再產生類似錯誤的內容？錢雨給出建議，他表示，大模型出現問題有四個典型原因，一是學的內容就是錯的；二是根本沒學到過這個內容，對于專業大模型，這兩種情況較為少見；三是學得對，但生成內容過程中的隨機性導致幻覺錯誤；四是大模型的本質還是“關聯性”而非“因果性”，所以在邏輯分析領域存在先天不足，也會產生“幻覺”。錢雨認為，推出的專業大模型既要選擇準確、“干凈”的語料，也要對細節訓練得足夠充分，更要通過Agent（智能體）等技術強化邏輯能力和糾錯能力。