AI模型训练
BLOOM

BLOOM是一个自然语言处理的平台,BLOOM是由HuggingFace推出的大模型,其参数量达到176B,是目前超过100B参数量且能够支持中文的开源大模型之一。

标签:

Bloom是一个自回归的大型语言模型,使用工业规模的计算资源在大量文本数据上训练,能够以46种语言和13种编程语言输出几乎与人类编写的文本难以区分的连贯文本。Bloom模型的参数包括vocab_size和hidden_size,其中vocab_size是Bloom模型的词汇表大小,定义了在调用BloomModel时传递的input_ids可以表示的不同令牌的最大数量。hidden_size是嵌入和隐藏状态的维数。

相关导航

暂无评论

暂无评论...