IT資訊
當前位置:優樂網 > IT資訊 >  科技暢談

機器學習大賽又出騙子!竊取私有數據集,一萬美元到手

2020-03-03 12:10:24 網易科技 網易智能、小小 編輯:貝兒 瀏覽數:32優樂網

世界最知名的數據挖掘以及機器學習競賽平臺Kaggle剛剛宣布,獲得最新競賽的冠軍團隊Bestpetting因涉嫌作弊而被剝奪了冠軍頭銜。該團隊通過寵物領養網站Petfinder.my收集Private Leaderboa...

世界最知名的數據挖掘以及機器學習競賽平臺Kaggle剛剛宣布,獲得最新競賽的冠軍團隊Bestpetting因涉嫌作弊而被剝奪了冠軍頭銜。該團隊通過寵物領養網站Petfinder.my收集Private Leaderboard的答案,然后將這些數據隱藏在他們提交的文件中,并于2019年4月9日贏得年度冠軍。在總共25000美元的獎金池中,Bestpetting團隊獲得了10000美元,如今這筆資金已經無法追回。

何為Kaggle競賽?

Kaggle(谷歌子公司)是一個圍繞建立機器學習模型的競賽而建立起來的在線社區,該平臺的獎金池高達150萬美元,吸引了各種各樣的數據玩家。Kaggle為競賽提供數據集,以及將用于決定獲勝而提交的指標。參賽者分析給定的數據,構建模型以匹配期望的結果,然后提交結果(通常與代碼一起提交)。為了防止有人作弊,機器學習競賽使用沒有標記的數據,并分兩個階段使用:

第一,當比賽結束后,參賽者只擁有作為未標記數據的數據集中的“私人”部分,用于幫助選擇獲勝者。在理想情況下,此數據可以表示模型將如何對以前從未見過的數據執行相關操作。

第二,為了在比賽期間對參賽者進行排名,參賽團隊提交的作品會根據數據集中專門用于leaderboard(臨時成績)的部分進行評分。就像“私人”測試數據一樣,參賽者可以使用這些數據,但沒有標準。單獨針對leaderboard指標進行優化的團隊,通常會因為不適用于數據集的“私人”部分而失敗。

使用私人數據作弊

這種競賽形式的結果是,如果某個團隊獲得了私有測試數據集的基本事實答案,那么它獲勝的可能性就會大增。但作弊團隊構建的模型往往是無效的,會使競賽變得毫無意義。在這種情況下,作弊者會在提交答案的同時附上自己的答案。

其他的作弊方式可能更難以察覺。其中一種方法是使用完整的數據集來優化超參數,從而創建一個看似更有效的模型。也許作弊團隊會選擇更容易檢測的方法,因為他們根本沒有能力創建值得被選入leaderboard的模型,也有可能是因為他們不愿費更多心思。

解決這些問題的辦法可能是將私人數據完全排除在競賽之外,提交必須包括提供API來生成預測的代碼,但這也將防止參賽者知道私人和leaderboard數據中的功能分布。

Kaggle競賽的陰暗面

Kaggle競賽有很多潛在的問題。有人在檢測信用卡詐騙的競賽中偶然發現了一個例子。一種流行的模型正在使用來自未來的信息進行培訓,這將使其在實踐中無法使用,畢竟銀行無法預測這些尚未發生的事情。許多模型使用數據集的方式會產生更高的分數,但會使模型對競賽組織者毫無用處。不過,這些模型仍然可以贏得競賽,因為他們沒有違反任何規則。

分享到:

版權與免責聲明:

凡未注明"稿件來源"的內容均為轉載稿,本網轉載出于傳遞更多信息的目的;如轉載稿涉及版權問題,請作者聯系我們,同時對于用戶評論等信息,本網并不意味著贊同其觀點或證實其內容的真實性;


本文地址:http://www.yyinsz.icu/news/2020/03/03/263039316.html

轉載本站原創文章請注明來源:優樂網

行業聚焦

微軟Surface Book 3已通過工信部認證,即將發布

IT之家5月5日消息 據Windowslatest報道,微軟計劃以兩種不同的配置發布Surface Book 3,分別是13.5英寸和15英寸版本。繼...[詳細]

全球奢侈品漲價潮來襲?蘇寧國際:520 Gucci手拿包6.5折

日前,一則Chanel將于5月14日或15日在全球進行大幅調價的消息,讓國內北京、上海、杭州等地的Chanel門店出現了大排長龍的景象。據悉,不止是香奈兒。近日...[詳細]

CNNIC發布第45次報告:手機上網達99.3%

剛剛,CNNIC第45次調查報告顯示,截至2020年3月,我國網民規模達9.04億,較2018年底增長7508萬,互聯網普及率達64.5%,較2018年底提升4...[詳細]

雷神新款游戲本發布:標配十代i7,邁入5GHz時代

IT之家4月2日消息 4月2日15:00,英特爾全新第十代智能英特爾酷睿 H系列移動處理器正式發布,雷神全球同步首發2020年游戲本系列,全線升級。雷...[詳細]

馬斯克:特斯拉電動皮卡能在水面上“漂浮一段時間”

近日,馬斯克在回應網友關于特斯拉Cybertruck電動皮卡的涉水能力時表示,Cybertruck可以在水面 "漂浮一段時間"。"...[詳細]

智科技

更多

多企業投訴天眼查企查查使用揭露信息攪擾企業發展

 

  來歷:央廣網  原標題:多家企業投訴天眼查、企查查:使用揭露信息攪擾企業正常打開  央廣網北京4月20日音訊(記者 ...[詳細]

比妙控鍵盤便宜一半:外媒上手羅技Combo Touch iPad鍵盤保護殼

 

IT之家4月19日消息 蘋果此前推出了適用于iPad Pro 2020的Magic Keyboard鍵盤套,但...[詳細]

三星2020款 QLED 8K電視 Q950TS 發布:99%屏占比,49999元起

 

IT之家5月18日消息  三星今天舉辦了“真·撼于心”三星2020年QLED 8K電視新品線上發布會。三星在本...[詳細]

微軟在Win10 2004發行說明中更新了處理器支持列表

 

微軟即將向公眾推送 Windows 10 2020 五月更新,不過在 Windows Update 自動下載前,開發者們...[詳細]

Windows10系統如何使用Linux命令?

 

  Windows10系統如何使用Linux命令?目前,Windows10系統已經集成了Linux常...[詳細]

一周排行每月關注
极速快乐十分开奖官网 天津麻将技巧视频 淘宝网如何赚钱 怎么网赚 安徽乐乐麻将app下载 刮刮乐中大奖的秘密 秒速赛车大小单双计划 贵阳捉鸡麻将技巧 香港最准一肖中特公开选料 浙江6十1几点开奖 熊猫互娱棋牌 捕鱼大师安卓版1.2.1 免费四人单机无网麻将 平特一肖规律公式集合 福彩30选七开奖结果 网赚论坛有哪些 大神捕鱼街机竞技版ios