媒體
分類
新聞
- 國際消費季啟動
- 成都全面取消住房限購
- 水母秘境
- 韓江現今年第三號洪水
- 整頓旅遊亂象
- “箬葉”浮碧波
- 公安部發“五一”交通提醒
- 遼漢酒後舞廳外放火被燒死
- 內地青年“五一”出遊料增兩成
- 多地高校禁學生組團出遊
- 以軍高層批准進攻拉法計劃
- 俄：美倘沒收俄資產將報復
- 哈馬斯發佈人質視頻
- 拜登走後門仍被“問候”
- 學生反戰示威蔓延多國
- 美大學又有近二百人被捕
- 李强：大力發展新能源汽車
- 菲否認與華就仁愛礁達共識
- 《習近平談“一帶一路”》英文版發行
- 李強會見馬斯克
復旦“眸思”助視障者“看見”世界
2024-03-03 06:35
復旦“眸思”助視障者“看見”世界
【中新社上海二日電】在復旦大學自然語言處理實驗室師生的努力下，基於多模態大模型“復旦 · 眸思”(MouSi)為視障者量身打造的“聽見世界”APP日前上線，將成為視障人士的生活助手與智能管家。
理解識別圖片
去年上半年，復旦大學自然語言處理實驗室發佈了開發MOSS對話式大型語言模型，被稱為中國版的GPT，僅用半年時間多模態模型“眸思”問世。據介紹，“眸思”和基於文本的MOSS不同，它能夠理解並識別圖片內容，致力於成為視障者的一雙“眸”。
基於“眸思”，“聽見世界”APP為視障者日常生活需求量身打造街道行走模式、自由問答模式和尋物模式。在街道行走模式中，“眸思”如一位忠實的向導。紅綠燈、十字路口、障礙物……它能細緻掃描道路情況，提示潛在風險，陪伴視障者安全通行“看不見”的漫漫長路。在自由問答模式中，“眸思”則像一位貼心的朋友，走進博物館、藝術館、公園……捕捉四周景象的每個細節，用聲音構建豐富的生活場景，傳遞每一處日常之美。在尋物模式中，“眸思”將成為一名可靠的管家，讓視障人士找尋日常物件變得輕鬆。
去年九月以來，復旦大學自然語言處理實驗室圍繞GPT4-V復現多模態大模型，對核心關鍵點開展研究，希望提升單項任務的準確率和強化大模型的學習。為了更好地感受視障者的難處，團隊成員模擬真實情境、邀請視障人士加入，進一步摸清真實而具體的需求，又用上萬張圖片進行特殊樣本訓練，使“眸思”具備能夠適配更多場景的能力。目前，更多模式正在開發中，比如，閱讀模式、解說模式等。
準備開啟試點
據悉，團隊計劃與NGO組織、智算中心和硬件廠商等開展合作，致力於讓視障者免費使用產品和相關服務。預計今年三月“聽見世界”APP將完成第一輪測試，在中國一二線城市和地區同步開啟試點，根據算力部署情況進行推廣。
澳門日報新聞
-
國際消費季啟動9小時前
-
成都全面取消住房限購9小時前
-
水母秘境9小時前
-
韓江現今年第三號洪水9小時前
-
整頓旅遊亂象9小時前
-
“箬葉”浮碧波9小時前
-
公安部發“五一”交通提醒9小時前
-
遼漢酒後舞廳外放火被燒死9小時前
-
內地青年“五一”出遊料增兩成9小時前
-
多地高校禁學生組團出遊9小時前
-
以軍高層批准進攻拉法計劃9小時前
-
俄：美倘沒收俄資產將報復9小時前
-
哈馬斯發佈人質視頻9小時前
-
拜登走後門仍被“問候”9小時前
-
學生反戰示威蔓延多國9小時前
-
美大學又有近二百人被捕9小時前
-
李强：大力發展新能源汽車9小時前
-
菲否認與華就仁愛礁達共識9小時前
-
《習近平談“一帶一路”》英文版發行9小時前
-
李強會見馬斯克9小時前
留言