悟道 – 北京智源人工智能研究院
收录日期:2023-08-26
424
智源研究院是人工智能领域的新型研发机构,汇集国际顶尖人工智能学者,聚焦核心技术与原始创新,旨在推动人工智能领域发展政策、学术思想、理论基础、顶尖人才与产业生态的五大源头创新。
2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练,并在9个基准上超过了最先进(SOTA)水平,悟道比任何同行都更接近于实现通用人工智能(AGI)和人类水平的思维。
悟道接受了4.9 TB高质量英文和中文图像和文本的训练:
- 1.2TB中文文本数据
- 2.5TB中文图形数据
- 1.2TB英文文本数据
悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术,其工作原理如下:
将预测建模任务划分为子任务,针对每个子任务训练专家(学习者)模型,开发门控模型,该门控模型基于要预测的输入来学习咨询哪个专家,并组合预测。FastMoE使悟道能够并行咨询不同的专家模型,并切换到预测结果最好的模型。例如,如果输入是英文文本,悟道将使用预测模型,该模型可以在英文文本中生成回应。
相关站点
最新站点
- 万兴科技 – 综合数字创意工具 2024年7月3日
- 美间-在线2D云设计平台 2024年7月3日
- Kimi.ai – 帮你看更大的世界 2024年5月24日
- Verse – 新一代生产力工具 2024年5月24日
- 即梦Dreamina – 一站式AI创作平台 2024年5月24日
共有 0 条评论