曠視科技發(fā)布全新輕量級(jí) LLM 模型推理框架 InferLLM，助力大模型實(shí)現(xiàn)落地

【資料圖】

來(lái)源：新浪證券

ChatGPT的火爆出圈讓大家看到了大型語(yǔ)言模型的潛力，多家企業(yè)開(kāi)始自研大型語(yǔ)言模型，開(kāi)源社區(qū)也已經(jīng)出現(xiàn)了非常多優(yōu)秀的模型。曠視科技也發(fā)布了全新輕量級(jí) LLM 模型推理框架 InferLLM，助力大模型實(shí)現(xiàn)落地。雖然大型語(yǔ)言模型在文案生成、內(nèi)容創(chuàng)作、代碼編程等方面展現(xiàn)了強(qiáng)大能力，但其海量的參數(shù)和巨大的模型體積，讓大語(yǔ)言模型在邊緣端設(shè)備上運(yùn)行仍面臨許多挑戰(zhàn)。為加速大語(yǔ)言模型落地應(yīng)用，曠視天元開(kāi)發(fā)了 InferLLM 工程，提供一個(gè)比 llama.cpp 更簡(jiǎn)單更容易上手的本地部署框架，讓大語(yǔ)言模型在本地或者端上部署成為可能。 曠視天元開(kāi)源深度學(xué)習(xí)框架MegEngine是曠視科技自主研發(fā)的國(guó)產(chǎn)工業(yè)級(jí)深度學(xué)習(xí)框架，是曠視科技新一代AI生產(chǎn)力平臺(tái)Brain++的最核心組件，在2020年3月正式向全球開(kāi)發(fā)者開(kāi)源。

曠視科技天元憑借其訓(xùn)練推理一體、超低硬件門(mén)檻和全平臺(tái)高效推理3大核心優(yōu)勢(shì)，能夠幫助企業(yè)與開(kāi)發(fā)者大幅節(jié)省產(chǎn)品從實(shí)驗(yàn)室原型到工業(yè)部署的流程，真正實(shí)現(xiàn)小時(shí)級(jí)的轉(zhuǎn)化能力。曠視天元不斷優(yōu)化，推出了一系列實(shí)用功能，降低 AI 算法生產(chǎn)門(mén)檻，助力 AI 應(yīng)用快速落地，其中包括：引入動(dòng)態(tài)圖顯存優(yōu)化（DTR）技術(shù)，大幅減少顯存占用，節(jié)省開(kāi)發(fā)者硬件成本，用有限硬件資源訓(xùn)練出更大模型；開(kāi)源面向計(jì)算機(jī)視覺(jué)應(yīng)用的流式計(jì)算框架MegFlow，開(kāi)發(fā)者基于MegFlow 提供的視覺(jué)解析服務(wù)方案，最快 15 分鐘即可完成客制化所需功能，AI 應(yīng)用落地不再難；開(kāi)發(fā)出創(chuàng)新性的TracedModule 方案以及 MegEngine Lite，基于曠視科技海量業(yè)務(wù)打磨出的模型推理最佳實(shí)踐，化解模型轉(zhuǎn)換部署難題……

除了開(kāi)源深度學(xué)習(xí)框架曠視天元外，曠視科技的科研成果包括AI生產(chǎn)力平臺(tái)Brain++、AI算法生產(chǎn)平臺(tái)AI Service、移動(dòng)端高效卷積神經(jīng)網(wǎng)絡(luò)ShuffleNet等多項(xiàng)創(chuàng)新技術(shù)和產(chǎn)品。目前，曠視已在ICCV、CVPR、ECCV 等國(guó)際學(xué)術(shù)會(huì)議、期刊上發(fā)表論文200余篇，在各項(xiàng)國(guó)際人工智能頂級(jí)競(jìng)賽中累計(jì)攬獲 56 項(xiàng)世界冠軍或最高榮譽(yù)。

當(dāng)下，大模型已成為 AI 重要的技術(shù)發(fā)展方向。曠視科技一直堅(jiān)定投入大模型研發(fā)，具備領(lǐng)先的大模型原創(chuàng)科研能力。面向未來(lái)，曠視科技將積極擁抱多模態(tài)大模型，同時(shí)將大模型與硬件結(jié)合，面向物聯(lián)網(wǎng)場(chǎng)景打造不同類型的行業(yè)應(yīng)用。

免責(zé)聲明：本文不構(gòu)成任何商業(yè)建議，投資有風(fēng)險(xiǎn)，選擇需謹(jǐn)慎！本站發(fā)布的圖文一切為分享交流，傳播正能量，此文不保證數(shù)據(jù)的準(zhǔn)確性，內(nèi)容僅供參考

關(guān)鍵詞：