摘要顯示，本公開涉及一種多模態(tài)對話方法、裝置、設(shè)備及存儲介質(zhì)。本公開通過獲取與同一問題關(guān)聯(lián)的多模態(tài)信息，對所述多模態(tài)信息進(jìn)行意圖識別，得到意圖信息，并對所述多模態(tài)信息進(jìn)行槽位識別，得到一個(gè)或多個(gè)槽位值。

　　然后，根據(jù)所述意圖信息和所述一個(gè)或多個(gè)槽位值，生成該多模態(tài)信息對應(yīng)的一個(gè)或多個(gè)回復(fù)信息。使得用戶可以通過多種模態(tài)信息對同一問題和該問題針對的目標(biāo)對象進(jìn)行描述，使得人機(jī)對話系統(tǒng)可以從多個(gè)模態(tài)理解同一問題，并針對同一問題生成一個(gè)或多個(gè)回復(fù)信息，如果是多個(gè)回復(fù)信息，則多個(gè)回復(fù)信息的模態(tài)不同，從而實(shí)現(xiàn)了多模態(tài)對話，使得用戶和人機(jī)對話系統(tǒng)之間的對話方式靈活多樣，提高了用戶體驗(yàn)。

　　根據(jù)此前報(bào)道，阿里達(dá)摩院正在研發(fā)類 ChatGPT 的對話機(jī)器人，已開放給公司內(nèi)員工測試。從曝光截圖來看，阿里巴巴可能將 AI 大模型技術(shù)與釘釘生產(chǎn)力工具深度結(jié)合。阿里方面回應(yīng)表示，確實(shí)在研發(fā)中，目前處于內(nèi)測階段。