去除對齊和偏見,多功能文本生成模型Dolphin Mixtral 1x22b
相信很多大家對去除對齊和偏見,多功能文本生成模型Dolphin Mixtral 1x22b還不知道吧,今天菲菲就帶你們一起去了解一下~.~!
站長之家(ChinaZ.com)5月23日 消息:Dolphin2.9.1Mixtral1x22b是由Cognitive Computations團(tuán)隊創(chuàng)建的一個多功能文本生成模型。
這個模型具備以下特點:
多功能文本生成:它能夠處理指令、對話和編碼任務(wù),具有廣泛的應(yīng)用能力。
高性能:模型基于Dolphin-2.9-Mixtral-8x22b,擁有64k上下文的基礎(chǔ)模型,經(jīng)過全權(quán)重微調(diào),使用16k序列長度,在8xH100GPU上耗時27小時完成。
SLERP提取技術(shù):通過SLERP提取方法組合所有8個專家,而不完全轉(zhuǎn)換為密集模型,保持原始模型的性能。
初步代理能力:模型支持函數(shù)調(diào)用,具備初步的代理能力,能夠處理更復(fù)雜的任務(wù)。
不受限制的模型:數(shù)據(jù)集經(jīng)過過濾以去除對齊和偏見,模型設(shè)計為不受限制,具有高度符合性。這意味著在生成文本時,沒有嚴(yán)格的限制或過濾機(jī)制,模型可能會遵循不道德的請求并生成相應(yīng)的內(nèi)容。
模型的設(shè)計理念是提供一個沒有審查和道德限制的文本生成工具,但這種開放性也帶來了一定的風(fēng)險,特別是當(dāng)用戶提出不道德的請求時,模型可能會遵循這些請求。
模型地址:https://huggingface.co/cognitivecomputations/dolphin-2.9.1-mixtral-1x22b
以上就是關(guān)于【去除對齊和偏見,多功能文本生成模型Dolphin Mixtral 1x22b】的相關(guān)內(nèi)容,希望對大家有幫助!