紫东太初

紫东太初

3.0

中科院自动化所联合武汉人工智能研究院发布的国产多模态大模型,从图文音三模态走向全模态深度推理并开源开放。

标签
聊天机器人智能助手对话式AIAI助手智能对话
最后更新 2026 年 11 月 10 日
紫东太初 截图

简介

紫东太初(Zidong Taichu)是由中国科学院自动化研究所(CASIA)研发的多模态大模型系列。2021 年 9 月发布的 1.0 版本是全球首个图文音(图像、文本、语音)三模态预训练大模型,将三种核心模态统一到同一个预训练框架中;2023 年 6 月,模型升级为全模态版本,在图文音之外新增了对视频、3D 点云与传感信号的理解能力,可处理的模态类型进一步扩展。模型由自动化所联合武汉人工智能研究院持续迭代,最新 4.0 版本主打「多模态 + 深度推理」,在跨模态感知与理解的基础上进一步强化推理能力,形成从多模态理解到深度推理的完整能力链条。

主要功能

多模态对话:支持结合多种模态信息的对话交互,用户可围绕不同模态的内容进行提问与交流,获得更贴合上下文的回答。
图像理解与生成:既能对输入图像进行识别与分析,也能按需求生成图像内容,覆盖视觉理解的「读」与「画」两个方向。
语音识别:将语音内容转换为文本,支撑语音输入、语音交互等相关处理场景。
视频理解与描述:理解视频内容并生成相应的文字描述,可服务于内容分析与审核等应用。
文档问答:面向文档内容进行问答,帮助用户从资料中快速获取答案。
在线体验:提供「紫东太初」App,普通用户无需自行搭建环境即可在线体验模型的多项能力。
开放平台与 API:开发者可通过开放平台调用模型 API,并基于昇思(MindSpore)框架与昇腾 AI 底座进行微调和部署,构建自己的应用与行业方案。
开源支持:部分预训练权重已开源,供科研与产业使用,降低多模态研究与开发的上手门槛。

定价与费用

  • 定价:我们所审阅的页面上未公开列出定价信息;请访问官方网站查询最新方案。
  • 研发背景:由中国科学院自动化研究所与武汉人工智能研究院联合研发。
  • 能力范围:多模态大模型,支持多轮问答、文本创作、图像生成、3D理解、信号分析等任务。
  • 落地案例:包括神经外科手术导航、法律案件分析、与北京协和医院合作的多模态医学鉴别诊断,以及短视频内容审核。
  • 产业生态:商业化主体中科紫东太初牵头组建了超百家成员的多模态人工智能产业联盟。

适用人群

  • 科研与教育用户:人工智能科研人员与高校师生,可借助开源权重与开放平台开展多模态方向的研究、实验与教学。
  • 企业与政府部门:需要国产化大模型底座的机构,可依托「昇腾 + 昇思」的全栈国产路线进行微调、部署与应用开发。
  • 垂直领域方案开发者:医疗、法律、工业质检等领域的方案开发者,可参考已有的落地场景,将多模态能力整合进行业解决方案中。

常见问题

紫东太初如何体验?可通过「紫东太初」App 或开放平台在线使用,无需自行搭建环境即可体验多模态能力。

模型开源吗?部分基础模型权重已开源,供科研与产业使用;如需商用,许可条款以官网为准。

和普通聊天机器人有什么不同?紫东太初是多模态科研大模型,强调图文音视频跨模态理解,而非单一文本对话;同时基于昇腾 AI 与昇思框架实现国产化部署,技术路线自主可控。