本發(fā)明涉及基于人工智能的在線面試,特別涉及一種用于提升智能面試評測準(zhǔn)確率的方法及裝置。
背景技術(shù):
1、隨著人才市場的活躍程度不斷增加,視頻面試的局限性開始不斷暴露,沒有解決hr在傳統(tǒng)意義上需要花費(fèi)大量時(shí)間進(jìn)行批量的人才初篩工作。得益于ai技術(shù)的不斷發(fā)展,以“ai+視頻面試”進(jìn)行人才初篩甄選的方式應(yīng)運(yùn)而生,并逐漸成為市場主流。大量的雇主開始采用智能面試的方式,打造面試機(jī)器人,預(yù)設(shè)面試問題對候選人的面試視頻進(jìn)行人才測評判斷。
2、然而,ai技術(shù)在進(jìn)行人才測評上仍存在一系列的問題。大模型的幻覺問題依然比較嚴(yán)重,如果直接使用大模型等判分系統(tǒng)對候選人的回答進(jìn)行評分,對于相同的回答經(jīng)多次調(diào)用所產(chǎn)出的評分結(jié)果會有比較大的差異,每次的結(jié)果會不一致,比如候選人的分值可能在5分、6分、7分之間波動。這個(gè)分值的波動會帶來一系列后續(xù)問題,比如候選人a的真實(shí)得分是5分,但是大模型波動至7分;候選人b的真實(shí)得分是7分,但是大模型波動至5分。在真實(shí)的招聘場景中就會因此而錯(cuò)誤地招聘了候選人a而非候選人b。
3、一般對上述現(xiàn)象有以下幾種優(yōu)化方式:一是使用少樣本學(xué)習(xí)方式,即增加示例讓大模型能更為理解人類意圖。二是多次調(diào)用取平均值,以降低大模型出錯(cuò)的概率。這幾種傳統(tǒng)優(yōu)化方式都是將大模型等判分系統(tǒng)當(dāng)做黑盒在處理,只能在一定程度上降低判分系統(tǒng)出錯(cuò)的概率,實(shí)際上技術(shù)人員并不了解大模型等判分系統(tǒng)在哪種情況下更容易出錯(cuò),因此很難針對性地進(jìn)行優(yōu)化。
技術(shù)實(shí)現(xiàn)思路
1、鑒于現(xiàn)有技術(shù)中的上述缺陷或不足,本發(fā)明提供了一種用于提升智能面試評測準(zhǔn)確率的方法及裝置,在人才測評場景下通過先驗(yàn)知識和基礎(chǔ)假設(shè)去預(yù)測大模型等判分系統(tǒng)在各種情況下出錯(cuò)的概率,從而提升整體的正確率。
2、本發(fā)明的一個(gè)方面,提供了一種用于提升智能面試評測準(zhǔn)確率的方法,包括如下步驟:獲取候選人的面試會話數(shù)據(jù),所述面試會話數(shù)據(jù)包括每個(gè)考察維度下的面試問題和候選人對每個(gè)問題的作答;比較候選人對面試問題的作答和該問題對應(yīng)的多個(gè)典型回答,得到候選人的作答與每個(gè)典型回答的對比結(jié)果和每個(gè)典型回答對應(yīng)的能力評分,所述對比結(jié)果的值域?yàn)?或1;基于候選人的作答與每個(gè)典型回答的對比結(jié)果和每個(gè)典型回答對應(yīng)的能力評分,估計(jì)候選人在每個(gè)考察維度下的原始能力評分;基于候選人在每個(gè)考察維度下的原始能力評分,計(jì)算候選人在常模人群中的排名;將所述排名轉(zhuǎn)換為候選人在每個(gè)考察維度下的標(biāo)準(zhǔn)能力評分。
3、本發(fā)明的另一方面,還提供了一種用于提升智能面試評測準(zhǔn)確率的裝置,包括:數(shù)據(jù)獲取模塊,被配置為獲取候選人的面試會話數(shù)據(jù),所述面試會話數(shù)據(jù)包括每個(gè)考察維度下的面試問題和候選人對每個(gè)問題的作答;比較模塊,被配置為比較候選人對面試問題的作答和該問題對應(yīng)的多個(gè)典型回答,得到候選人的作答與每個(gè)典型回答的對比結(jié)果和每個(gè)典型回答對應(yīng)的能力評分,所述對比結(jié)果的值域?yàn)?或1;估計(jì)模塊,被配置為基于候選人的作答與每個(gè)典型回答的對比結(jié)果和每個(gè)典型回答對應(yīng)的能力評分,估計(jì)候選人在每個(gè)考察維度下的原始能力評分;排名計(jì)算模塊,被配置為基于候選人在每個(gè)考察維度下的原始能力評分,計(jì)算候選人在常模人群中的排名;評分模塊,被配置為將所述排名轉(zhuǎn)換為候選人在每個(gè)考察維度下的標(biāo)準(zhǔn)能力評分。
4、本發(fā)明提供的一種用于提升智能面試評測準(zhǔn)確率的方法及裝置,在人才測評場景下通過先驗(yàn)知識和基礎(chǔ)假設(shè)去預(yù)測大模型等判分系統(tǒng)在各種情況下出錯(cuò)的概率,從而明確判分系統(tǒng)在哪種情況下更容易出錯(cuò),以便有針對性的進(jìn)行優(yōu)化,最終提升了智能面試評測的整體正確率。
1.一種用于提升智能面試評測準(zhǔn)確率的方法,其特征在于,包括如下步驟:
2.根據(jù)權(quán)利要求1所述的一種用于提升智能面試評測準(zhǔn)確率的方法,其特征在于,所述基于候選人的作答與每個(gè)典型回答的對比結(jié)果和每個(gè)典型回答對應(yīng)的能力評分,估計(jì)候選人在每個(gè)考察維度下的原始能力評分的步驟,包括:
3.根據(jù)權(quán)利要求2所述的一種用于提升智能面試評測準(zhǔn)確率的方法,其特征在于,所述迭代優(yōu)化算法包括:
4.根據(jù)權(quán)利要求1所述的一種用于提升智能面試評測準(zhǔn)確率的方法,其特征在于,所述基于候選人在每個(gè)考察維度下的原始能力評分,計(jì)算候選人在常模人群中的排名的步驟,包括:
5.根據(jù)權(quán)利要求1所述的一種用于提升智能面試評測準(zhǔn)確率的方法,其特征在于,將所述排名轉(zhuǎn)換為候選人在每個(gè)考察維度下的標(biāo)準(zhǔn)能力評分的步驟,包括:
6.一種用于提升智能面試評測準(zhǔn)確率的裝置,其特征在于,包括:
7.根據(jù)權(quán)利要求6所述的一種用于提升智能面試評測準(zhǔn)確率的裝置,其特征在于,所述估計(jì)模塊被進(jìn)一步配置為:
8.根據(jù)權(quán)利要求7所述的一種用于提升智能面試評測準(zhǔn)確率的裝置,其特征在于,所述估計(jì)模塊被進(jìn)一步配置為:
9.根據(jù)權(quán)利要求6所述的一種用于提升智能面試評測準(zhǔn)確率的裝置,其特征在于,所述排名計(jì)算模塊被進(jìn)一步配置為:
10.根據(jù)權(quán)利要求6所述的一種用于提升智能面試評測準(zhǔn)確率的裝置,其特征在于,所述評分模塊被進(jìn)一步配置為:將候選人在常模人群中的排名按照正態(tài)分布轉(zhuǎn)換為標(biāo)準(zhǔn)能力評分。