在复旦大学自然语言处理实验室（FudanNLP）师生的努力下，基于多模态大模型“复旦·眸思”（MouSi）为视障者量身打造的“听见世界”APP日前上线，将成为视障人士的生活助手与智能管家。

2023年上半年，复旦大学自然语言处理实验室发布了开发MOSS对话式大型语言模型，被称为中国版的GPT，仅用半年时间多模态模型“眸思”问世。据介绍，“眸思”和基于文本的MOSS不同，它能够理解并识别图片内容，致力于成为视障者的一双“眸”。

　　基于“眸思”，“听见世界”APP为视障者日常生活需求量身打造街道行走模式、自由问答模式和寻物模式。在街道行走模式中，“眸思”如一位忠实的向导。红绿灯、十字路口、障碍物……它能细致扫描道路情况，提示潜在风险，陪伴视障者安全通行“看不见”的漫漫长路。在自由问答模式中，“眸思”则像一位贴心的朋友，走进博物馆、艺术馆、公园……捕捉四周景象的每个细节，用声音构建丰富的生活场景，传递每一处日常之美。在寻物模式中，“眸思”将成为一名可靠的管家，被移动过的手杖、最爱口味的牛奶……它可以让视障人士找寻日常物件变得轻松。

　　自去年9月以来，复旦大学自然语言处理实验室围绕GPT4-v复现多模态大模型，对核心关键点开展研究，希望提升单项任务的准确率和强化大模型的学习。为了更好地感受视障者的难处，团队成员模拟真实情境，蒙眼探索视障者“黑暗”世界。他们邀请视障人士加入，进一步摸清真实而具体的需求。

据了解，团队计划与NGO组织、智算中心和硬件厂商等开展合作，致力于让视障者免费使用产品和相关服务。预计今年3月“听见世界”APP将完成第一轮测试，在中国一、二线城市和地区同步开启试点，根据算力部署情况进行推广。

图片来源|东西南北杂志社

(声明：本号所发内容仅作为信息传递之目的，版权归创作者所有，如有不妥请及时联系删除，谢谢。）