售前電話
135-3656-7657
售前電話 : 135-3656-7657
技術(shù)特征:
1.一種皮膚病在線問(wèn)診方法,其特征在于,所述方法包括:獲取步驟:獲取預(yù)測(cè)樣本,所述預(yù)測(cè)樣本包括患處圖像和/或歷史問(wèn)診問(wèn)題;其中,所述患處圖像為當(dāng)前輪次之前從醫(yī)生終端接收的,所述歷史問(wèn)診問(wèn)題為上一輪次從醫(yī)生終端接收的;向量化步驟:對(duì)所述患處圖像和/或所述歷史問(wèn)診問(wèn)題進(jìn)行向量化,得到圖像輸入向量和/或文本輸入向量;預(yù)測(cè)步驟:將所述圖像輸入向量和/或所述文本輸入向量對(duì)應(yīng)輸入到訓(xùn)練好的皮膚病問(wèn)診問(wèn)題推薦模型中進(jìn)行預(yù)測(cè),得到多個(gè)待選問(wèn)題,并推薦至所述醫(yī)生終端,以使醫(yī)生可從所述多個(gè)待選問(wèn)題中選擇一個(gè)作為本輪次問(wèn)診問(wèn)題;循環(huán)步驟:依次循環(huán)執(zhí)行所述獲取步驟、所述向量化步驟、所述融合步驟和所述預(yù)測(cè)步驟多次,直到問(wèn)診結(jié)束。2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述皮膚病問(wèn)診問(wèn)題推薦模型是根據(jù)下述方法訓(xùn)練得到的:構(gòu)建皮膚病問(wèn)診問(wèn)題的推薦初始模型,其中,所述皮膚病問(wèn)診問(wèn)題的推薦初始模型包括圖像分類子模型、語(yǔ)言表達(dá)子模型和問(wèn)診問(wèn)題分類子模型,所述圖像分類子模型和所述語(yǔ)言表達(dá)子模型分別連接所述問(wèn)診問(wèn)題分類子模型;構(gòu)建訓(xùn)練數(shù)據(jù)集,所述訓(xùn)練數(shù)據(jù)集包含多組訓(xùn)練樣本,每組訓(xùn)練樣本是根據(jù)一次皮膚病問(wèn)診對(duì)話提取而成,每組訓(xùn)練樣本包括多輪次訓(xùn)練數(shù)據(jù),每輪次輸入數(shù)據(jù)包括一張患處圖片和一個(gè)問(wèn)診問(wèn)題;且不同組訓(xùn)練樣本的多個(gè)輪次訓(xùn)練數(shù)據(jù)作為一類訓(xùn)練數(shù)據(jù),每類訓(xùn)練數(shù)據(jù)具有相同標(biāo)簽,且每類訓(xùn)練數(shù)據(jù)中的距離其他問(wèn)題最近的問(wèn)診問(wèn)題作為對(duì)應(yīng)標(biāo)簽的標(biāo)準(zhǔn)問(wèn)診問(wèn)題;將所述訓(xùn)練數(shù)據(jù)集輸入所述皮膚病問(wèn)診問(wèn)題的推薦初始模型進(jìn)行訓(xùn)練,得到皮膚病問(wèn)診問(wèn)題的推薦模型。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述構(gòu)建訓(xùn)練數(shù)據(jù)集,包括:對(duì)于一次皮膚病問(wèn)診對(duì)話,對(duì)述皮膚病問(wèn)診對(duì)話進(jìn)行圖文分離,得到至少一張患處圖片和多段醫(yī)患問(wèn)答文本;對(duì)各各段醫(yī)患問(wèn)答文本進(jìn)行過(guò)濾,得到多個(gè)問(wèn)診問(wèn)題;將所述患者圖片與得到的每個(gè)問(wèn)診問(wèn)題分別組合,得到多輪次訓(xùn)練數(shù)據(jù);對(duì)得到的多個(gè)問(wèn)診問(wèn)題進(jìn)行聚類,得到多類問(wèn)診問(wèn)題;基于距離最近原則,從各類問(wèn)診問(wèn)題中選取一個(gè)問(wèn)診問(wèn)題作為對(duì)應(yīng)標(biāo)簽的標(biāo)準(zhǔn)問(wèn)診問(wèn)題;對(duì)獲取的多次皮膚病問(wèn)診對(duì)話進(jìn)行處理,得到所述訓(xùn)練數(shù)據(jù)集。4.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述將所述訓(xùn)練數(shù)據(jù)集輸入所述皮膚病問(wèn)診問(wèn)題的推薦初始模型進(jìn)行訓(xùn)練,包括:對(duì)于一組訓(xùn)練樣本,依次將每組訓(xùn)練樣本的多輪次訓(xùn)練數(shù)據(jù)輸入所述皮膚病問(wèn)診問(wèn)題推薦初始模型中;各輪次訓(xùn)練數(shù)據(jù)中的患處圖像進(jìn)入所述圖像分類子模型,以及問(wèn)診問(wèn)題進(jìn)入所述語(yǔ)言表達(dá)子模型,將所述圖像分類子模型的輸出作為圖像輸出向量,將所述語(yǔ)言表達(dá)子模型的輸出作為文本輸出向量;
將所述圖像輸出向量和所述文本輸出向量進(jìn)行融合,得到融合向量;使所述融合向量進(jìn)入所述問(wèn)診問(wèn)題分類子模型,以對(duì)推薦問(wèn)診問(wèn)題的標(biāo)簽的概率值進(jìn)行預(yù)測(cè);根據(jù)得到的預(yù)測(cè)結(jié)果,更新所述皮膚病問(wèn)診問(wèn)題推薦初始模型的參數(shù)。5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述將所述圖像輸出向量和所述文本輸出向量進(jìn)行融合,得到融合向量,包括:若所述圖像輸出向量和所述文本輸出向量為一維向量;則將所述文本輸出向量的各元素按照原始順序放置到所述圖像輸出向量的最后一個(gè)元素之后,得到融合向量;若所述圖像輸出向量和所述文本輸出向量為矩陣;則根據(jù)指定拼接形式,將所述文本輸出向量的各元素按照原始順序放置到所述圖像輸出向量之后的相應(yīng)位置上,得到融合向量。6.根據(jù)權(quán)利要求1~5中任一項(xiàng)所述的方法在線問(wèn)診系統(tǒng),其特征在于,所述圖像分類子模型為模型,所述語(yǔ)言表達(dá)子模型為bert模型,所述問(wèn)診問(wèn)題分類子模型為mlp模型。7.一種皮膚病在線問(wèn)診裝置,其特征在于,所述裝置包括:獲取單元:用于獲取預(yù)測(cè)樣本,所述預(yù)測(cè)樣本包括患處圖像和/或歷史問(wèn)診問(wèn)題;其中,所述患處圖像為當(dāng)前輪次之前從從醫(yī)生終端接收的,所述歷史問(wèn)診問(wèn)題為上一輪次從醫(yī)生終端接收的;向量化單元:用于對(duì)所述患處圖像和/或所述歷史問(wèn)診問(wèn)題進(jìn)行向量化,得到圖像輸入向量和/或文本輸入向量;預(yù)測(cè)單元:用于將所述圖像輸入向量和/或所述文本輸入向量對(duì)應(yīng)輸入到訓(xùn)練好的皮膚病問(wèn)診問(wèn)題推薦模型中進(jìn)行預(yù)測(cè),得到多個(gè)待選問(wèn)題,并推薦至所述醫(yī)生終端,以使醫(yī)生可從所述多個(gè)待選問(wèn)題中選擇一個(gè)作為本輪次問(wèn)診問(wèn)題;循環(huán)單元:用于依次循環(huán)執(zhí)行所述獲取步驟、所述向量化步驟、所述融合步驟和所述預(yù)測(cè)步驟多次,直到問(wèn)診結(jié)束。