電子表格是一種非常巧妙的發明,誕生之初,其使命是實現簿記的數字化,自此而后的50年間,因為它的存在,研究人員與商業人士得以不受行、列數量限制任意輸入各種數據,然后再借助計算機對這些信息進行分析。如今,電子表格被廣泛應用于工作生活的各個方面,甚至連學童都可以像財務分析師管理預算一樣使用這一工具。
不過電子表格沒有思考能力,而這則是更新一代、功能也更強大的“神經網絡”軟件的專長(神經網絡是一種復雜的人工智能程序,能夠模擬人腦的計算過程)。近年來,由于神經網絡的發展,頂尖人工智能研究人員關注的焦點已經從結構化數據(如成行成列的文字、數字)轉向了圖像。換句話說,功能強大的計算機可以通過瀏覽數百萬張貓咪的照片來了解這種小型貓科動物的特征,但同樣的軟件卻很難在簡單的電子表格中直觀地做到這一點。
這讓醫學研究、金融和運營等領域的數據科學家們深感沮喪,因為在這些領域,結構化數據才是真正的“硬通貨”。金融公司Capital One的應用型機器學習研究人員巴彥?布魯斯說:“我們的數據大多是結構化數據,或者至少是對這些數據進行了某種結構化處理。深度學習的進展與我們的數據之間有著很大距離,我們做的很多工作都是為了縮小這種距離。”
一些公司為解決這一問題也推出了自己的新項目。以生物技術巨頭基因泰克為例,該公司的數據科學家最近花費數月時間制作了一個包含55,000名癌癥患者健康記錄和基因組數據的電子表格,既收錄了年齡、膽固醇水平、心率等信息,也收錄了一些更為復雜的屬性數據,如分子特征和基因異常狀況等。基因泰克計劃將這些信息輸入神經網絡,并借此描繪出患者的健康屬性,以期開發出突破性藥物,針對每位患者的情況對癥下藥。
問題在于,研究人員現在才剛開始訓練神經網絡學習使用(像基因泰克制作的電子表格那樣的)結構化數據。基因泰克的個性化醫療數據科學分析業務全球主管瑞安?科平表示:“包括臨床試驗數據和電子病歷在內,我們的大多數數據都是結構化數據。”如果計算機網絡能夠分析并自主認知病人資料中的相似性,“那么我們就可以開始對結果進行觀察,并考慮如何針對病人的具體情況選擇治療方案。然而,現在還做不到這一點。”
除醫療行業外,很多其它行業也有機會從中受益。據研究公司IDC估計,今年,商業領域將產生5.8澤字節的銷售預測、客戶數據等生產力數據。一個澤字節大致相當于全球所有海灘上沙粒的總數。也就是說,這是一個天文數字,IDC全球數據層項目(該項目負責計算全球每年產生的數據量)的負責人約翰?瑞德寧如是說。
這意味著,只要能夠將數據壓縮成神經網絡可以學習的格式,那么各種類型的企業都將有機會從中獲益。食品巨頭百事公司的首席戰略和轉型官阿蒂納?卡尼烏拉認為,預測能力的小幅提升也能夠帶來巨大的財務回報。她說:“準確度的增加將會帶來數百萬美元的收益。”
接下來的挑戰則是要找到那些對商業活動最有價值的數據供研究人員使用。斯坦福大學教授、硅谷初創公司Sisu Data(該公司的主營業務是為企業開發分析工具)的首席執行官彼得?貝利斯說:“深度網絡非常酷炫,在汽車、推文理解等領域都大有可為。但如果只是儲存在表格中的數據,那么對我們在認知風險、了解客戶滿意度等方面的幫助就非常有限了。”如果換成商業人士都可以聽懂的話,那么問題依然是:人工智能能否解決自己難以識別Excel內容的問題?
神經網絡商業應用的推廣進度取決于其是否能夠像分析圖像一樣理解單詞的含義。為解決這一問題,研究人員將目光轉向了一種名為Word2vec的技術。(“vec”代表向量,是神經網絡最擅長理解的分析單元類型。)Word2vec由谷歌的一個研究小組于2013年開發,并已作為開源軟件項目對外發布,可以幫助計算機理解特定單詞之間的聯系。Word2vec技術為更強大語言系統的出現鋪平了道路,這些新推出的系統已經能夠識別出與“汽車”一詞關系更密切的企業是寶馬、尼桑這樣的汽車制造商,而不是卡夫亨氏這樣的食品公司。
word2vec之所以具備神奇的計算能力,是因為其可以將單詞轉換成神經網絡能夠理解的數字串,進而識別出詞語之間的相關性。經過一段時間的訓練,通過對更多文本進行學習,神經網絡便具備了根據單詞共同出現的頻率對其進行打分的能力,并能夠根據分數對單詞進行分組。與更早出現的所謂自然語言處理技術相比,這些較新的系統提升了與人類思維典型相關的模式識別屬性。
借助這種計算機輔助的單詞聯想游戲,計算機將可以理解表格中存儲的信息。這個過程相當于為神經網絡創建了一套自己的摩爾斯電碼:當應用程序在一份有關銷售情況的電子表格中遇到一列表示“日期”的數據時,無需獲得明確指令,只要借助足夠的數據,便能夠理解某些假日可能會對特定季節的銷售產生影響。舊金山大學應用數據倫理中心的主任、非營利教育機構Fast.ai的聯合創始人雷切爾?托馬斯表示:“這是底層的核心概念。神經網絡通過建模特定形態的模式創造了一種無限靈活的學習架構。”
僅在投資領域就有大量通過文字分析創造價值的機會。高盛的一個研究小組正在對神經網絡進行訓練,使其獲得搜尋“家庭房產內部轉讓”相關詞匯的能力。在進行非商業性質的交易時,交易雙方很可能不會如實描述房產的真實價值,如果可以教會軟件在篩選資料時將相關信息排除在外,自然能夠提高銀行的分析能力。“為此,我們訓練了一個可以識別此類交易、并減少對其關注程度的神經網絡。”加州大學圣迭戈分校計算機科學專業的常任教授查爾斯?埃爾坎表示,直到最近,他還在負責領導高盛的機器學習項目。
復雜的詞語聯想對物流行業也有很大價值。舊金山外賣初創公司Instacart便使用了word2vec的一種變體技術,讓自己的算法能夠預測顧客的偏好,這一能力在公司無法提供顧客想要的產品時尤其有用。為方便神經網絡處理相關信息,該公司使用的程序會將超市庫存商品的“單詞”轉換成“數字形式的數據”,隨后,神經網絡會對相應物品進行分組,以便理解這些數據的意義:比如,(通過分組,神經網絡會發現,)與咖啡相比,什錦干果與干果或堅果的共同點更多。Instacart的機器學習主管沙拉特?拉奧表示,使用這種技術幫助公司節約了時間和資金成本。他說:“不然我們就得思考所有可能的配對,還得留一張(手填)表。”
雖然在結構化數據領域應用深度學習技術已經是大勢所趨,但障礙依然存在。首先,這是一個全新想法,此前并未對其效果進行過驗證,沒有人知道與更為傳統的統計方法相比,這種技術能夠有哪些優勢。人工智能芯片生產公司英偉達的數據科學家伊文?奧爾德里奇說:“現在我們還不知道這個問題的答案。”
的確,考慮到訓練神經網絡的費用,對于那些不具備人工智能專長的企業來說,原有的數據分析方法可能已經夠用了。百事公司高管、人工智能專家卡尼烏拉表說:“我堅信,這個世界上絕不存在可以解決所有問題的‘錦囊妙計’,對所有公司來說都是如此。”云服務巨頭亞馬遜、微軟和谷歌在推銷自己的服務時實際上也隱含著這層意思:與其投入巨資、招攬人才去爭取潛在的增量回報,還不如直接從我們這里購買人工智能服務。
與其它以“教會計算機具備‘思考’能力”為目的的項目一樣,人類的偏見也會對項目的成功構成威脅。深度學習系統的優劣取決于訓練它們所用的數據,數據太多或太少都可能會使軟件的預測產生偏差。以基因泰克的數據集為例,該數據集收入了此前15年的臨床數據,但只收入了此前8年的基因組測試數據,也就是說,在此之前的患者數據并不像研究人員所希望的那樣具有可比性。供職于基因泰克的科平說:“如果我們對這些數據集缺乏了解,那么據此建立起來的模型可能毫無可靠性可言。”
科平表示,盡管如此,對這些電子表格中的內容進行強化分析依然具有很高的潛在價值,其意義完全不亞于獲得“預測一個病人在接受某種治療之后能夠存活多久”的能力。對一堆表格來說,可以做到這一點也算是不錯的成績了。
數家公司正在對神經網絡進行訓練,希望其能夠處理自己已有的結構化數據,這些公司包括:
基因泰克
這家生物技術先驅企業制作了一份內含繁雜健康數據、覆蓋數百萬名患者的電子表格,從常規記錄到基因組圖譜,不一而足。這一研究具有重要意義:如果人工智能真可以通過正確方式分析這些數據,個體病患未來或將能夠獲得針其疾病制定的個性化治療方案。
高盛
人工智能為投資者提供了無限機遇。受高盛聘請,一位機器學習專業的教授開發了一種訓練工具,借助這種工具,神經網絡能夠學會忽略那些可能使金融分析復雜化的詞語,如“家庭內部轉讓”(出現這一詞語時,交易中的房產價值可能失真)。神經網絡學會識別、忽略此類詞語可以提升現有分析模型的效率。
Instacart
這家外賣初創公司擁有一套易于理解的數據集,內含員工需為顧客選取的各種超市商品。該公司正在訓練算法進行復雜單詞聯想的能力,比如在看到什錦干果時,能夠聯想到堅果和干果,方便在顧客所需商品缺貨時為其提供替代選擇。(財富中文網)
本文另一版本登載于《財富》雜志2020年10月刊,標題為《是什么讓人工智能看起來很蠢》。
譯者:梁宇
審校:夏林
電子表格是一種非常巧妙的發明,誕生之初,其使命是實現簿記的數字化,自此而后的50年間,因為它的存在,研究人員與商業人士得以不受行、列數量限制任意輸入各種數據,然后再借助計算機對這些信息進行分析。如今,電子表格被廣泛應用于工作生活的各個方面,甚至連學童都可以像財務分析師管理預算一樣使用這一工具。
不過電子表格沒有思考能力,而這則是更新一代、功能也更強大的“神經網絡”軟件的專長(神經網絡是一種復雜的人工智能程序,能夠模擬人腦的計算過程)。近年來,由于神經網絡的發展,頂尖人工智能研究人員關注的焦點已經從結構化數據(如成行成列的文字、數字)轉向了圖像。換句話說,功能強大的計算機可以通過瀏覽數百萬張貓咪的照片來了解這種小型貓科動物的特征,但同樣的軟件卻很難在簡單的電子表格中直觀地做到這一點。
這讓醫學研究、金融和運營等領域的數據科學家們深感沮喪,因為在這些領域,結構化數據才是真正的“硬通貨”。金融公司Capital One的應用型機器學習研究人員巴彥?布魯斯說:“我們的數據大多是結構化數據,或者至少是對這些數據進行了某種結構化處理。深度學習的進展與我們的數據之間有著很大距離,我們做的很多工作都是為了縮小這種距離。”
一些公司為解決這一問題也推出了自己的新項目。以生物技術巨頭基因泰克為例,該公司的數據科學家最近花費數月時間制作了一個包含55,000名癌癥患者健康記錄和基因組數據的電子表格,既收錄了年齡、膽固醇水平、心率等信息,也收錄了一些更為復雜的屬性數據,如分子特征和基因異常狀況等。基因泰克計劃將這些信息輸入神經網絡,并借此描繪出患者的健康屬性,以期開發出突破性藥物,針對每位患者的情況對癥下藥。
問題在于,研究人員現在才剛開始訓練神經網絡學習使用(像基因泰克制作的電子表格那樣的)結構化數據。基因泰克的個性化醫療數據科學分析業務全球主管瑞安?科平表示:“包括臨床試驗數據和電子病歷在內,我們的大多數數據都是結構化數據。”如果計算機網絡能夠分析并自主認知病人資料中的相似性,“那么我們就可以開始對結果進行觀察,并考慮如何針對病人的具體情況選擇治療方案。然而,現在還做不到這一點。”
除醫療行業外,很多其它行業也有機會從中受益。據研究公司IDC估計,今年,商業領域將產生5.8澤字節的銷售預測、客戶數據等生產力數據。一個澤字節大致相當于全球所有海灘上沙粒的總數。也就是說,這是一個天文數字,IDC全球數據層項目(該項目負責計算全球每年產生的數據量)的負責人約翰?瑞德寧如是說。
這意味著,只要能夠將數據壓縮成神經網絡可以學習的格式,那么各種類型的企業都將有機會從中獲益。食品巨頭百事公司的首席戰略和轉型官阿蒂納?卡尼烏拉認為,預測能力的小幅提升也能夠帶來巨大的財務回報。她說:“準確度的增加將會帶來數百萬美元的收益。”
接下來的挑戰則是要找到那些對商業活動最有價值的數據供研究人員使用。斯坦福大學教授、硅谷初創公司Sisu Data(該公司的主營業務是為企業開發分析工具)的首席執行官彼得?貝利斯說:“深度網絡非常酷炫,在汽車、推文理解等領域都大有可為。但如果只是儲存在表格中的數據,那么對我們在認知風險、了解客戶滿意度等方面的幫助就非常有限了。”如果換成商業人士都可以聽懂的話,那么問題依然是:人工智能能否解決自己難以識別Excel內容的問題?
神經網絡商業應用的推廣進度取決于其是否能夠像分析圖像一樣理解單詞的含義。為解決這一問題,研究人員將目光轉向了一種名為Word2vec的技術。(“vec”代表向量,是神經網絡最擅長理解的分析單元類型。)Word2vec由谷歌的一個研究小組于2013年開發,并已作為開源軟件項目對外發布,可以幫助計算機理解特定單詞之間的聯系。Word2vec技術為更強大語言系統的出現鋪平了道路,這些新推出的系統已經能夠識別出與“汽車”一詞關系更密切的企業是寶馬、尼桑這樣的汽車制造商,而不是卡夫亨氏這樣的食品公司。
word2vec之所以具備神奇的計算能力,是因為其可以將單詞轉換成神經網絡能夠理解的數字串,進而識別出詞語之間的相關性。經過一段時間的訓練,通過對更多文本進行學習,神經網絡便具備了根據單詞共同出現的頻率對其進行打分的能力,并能夠根據分數對單詞進行分組。與更早出現的所謂自然語言處理技術相比,這些較新的系統提升了與人類思維典型相關的模式識別屬性。
借助這種計算機輔助的單詞聯想游戲,計算機將可以理解表格中存儲的信息。這個過程相當于為神經網絡創建了一套自己的摩爾斯電碼:當應用程序在一份有關銷售情況的電子表格中遇到一列表示“日期”的數據時,無需獲得明確指令,只要借助足夠的數據,便能夠理解某些假日可能會對特定季節的銷售產生影響。舊金山大學應用數據倫理中心的主任、非營利教育機構Fast.ai的聯合創始人雷切爾?托馬斯表示:“這是底層的核心概念。神經網絡通過建模特定形態的模式創造了一種無限靈活的學習架構。”
僅在投資領域就有大量通過文字分析創造價值的機會。高盛的一個研究小組正在對神經網絡進行訓練,使其獲得搜尋“家庭房產內部轉讓”相關詞匯的能力。在進行非商業性質的交易時,交易雙方很可能不會如實描述房產的真實價值,如果可以教會軟件在篩選資料時將相關信息排除在外,自然能夠提高銀行的分析能力。“為此,我們訓練了一個可以識別此類交易、并減少對其關注程度的神經網絡。”加州大學圣迭戈分校計算機科學專業的常任教授查爾斯?埃爾坎表示,直到最近,他還在負責領導高盛的機器學習項目。
復雜的詞語聯想對物流行業也有很大價值。舊金山外賣初創公司Instacart便使用了word2vec的一種變體技術,讓自己的算法能夠預測顧客的偏好,這一能力在公司無法提供顧客想要的產品時尤其有用。為方便神經網絡處理相關信息,該公司使用的程序會將超市庫存商品的“單詞”轉換成“數字形式的數據”,隨后,神經網絡會對相應物品進行分組,以便理解這些數據的意義:比如,(通過分組,神經網絡會發現,)與咖啡相比,什錦干果與干果或堅果的共同點更多。Instacart的機器學習主管沙拉特?拉奧表示,使用這種技術幫助公司節約了時間和資金成本。他說:“不然我們就得思考所有可能的配對,還得留一張(手填)表。”
雖然在結構化數據領域應用深度學習技術已經是大勢所趨,但障礙依然存在。首先,這是一個全新想法,此前并未對其效果進行過驗證,沒有人知道與更為傳統的統計方法相比,這種技術能夠有哪些優勢。人工智能芯片生產公司英偉達的數據科學家伊文?奧爾德里奇說:“現在我們還不知道這個問題的答案。”
的確,考慮到訓練神經網絡的費用,對于那些不具備人工智能專長的企業來說,原有的數據分析方法可能已經夠用了。百事公司高管、人工智能專家卡尼烏拉表說:“我堅信,這個世界上絕不存在可以解決所有問題的‘錦囊妙計’,對所有公司來說都是如此。”云服務巨頭亞馬遜、微軟和谷歌在推銷自己的服務時實際上也隱含著這層意思:與其投入巨資、招攬人才去爭取潛在的增量回報,還不如直接從我們這里購買人工智能服務。
與其它以“教會計算機具備‘思考’能力”為目的的項目一樣,人類的偏見也會對項目的成功構成威脅。深度學習系統的優劣取決于訓練它們所用的數據,數據太多或太少都可能會使軟件的預測產生偏差。以基因泰克的數據集為例,該數據集收入了此前15年的臨床數據,但只收入了此前8年的基因組測試數據,也就是說,在此之前的患者數據并不像研究人員所希望的那樣具有可比性。供職于基因泰克的科平說:“如果我們對這些數據集缺乏了解,那么據此建立起來的模型可能毫無可靠性可言。”
科平表示,盡管如此,對這些電子表格中的內容進行強化分析依然具有很高的潛在價值,其意義完全不亞于獲得“預測一個病人在接受某種治療之后能夠存活多久”的能力。對一堆表格來說,可以做到這一點也算是不錯的成績了。
數家公司正在對神經網絡進行訓練,希望其能夠處理自己已有的結構化數據,這些公司包括:
基因泰克
這家生物技術先驅企業制作了一份內含繁雜健康數據、覆蓋數百萬名患者的電子表格,從常規記錄到基因組圖譜,不一而足。這一研究具有重要意義:如果人工智能真可以通過正確方式分析這些數據,個體病患未來或將能夠獲得針其疾病制定的個性化治療方案。
高盛
人工智能為投資者提供了無限機遇。受高盛聘請,一位機器學習專業的教授開發了一種訓練工具,借助這種工具,神經網絡能夠學會忽略那些可能使金融分析復雜化的詞語,如“家庭內部轉讓”(出現這一詞語時,交易中的房產價值可能失真)。神經網絡學會識別、忽略此類詞語可以提升現有分析模型的效率。
Instacart
這家外賣初創公司擁有一套易于理解的數據集,內含員工需為顧客選取的各種超市商品。該公司正在訓練算法進行復雜單詞聯想的能力,比如在看到什錦干果時,能夠聯想到堅果和干果,方便在顧客所需商品缺貨時為其提供替代選擇。(財富中文網)
本文另一版本登載于《財富》雜志2020年10月刊,標題為《是什么讓人工智能看起來很蠢》。
譯者:梁宇
審校:夏林
The electronic spreadsheet has been around for about 50 years. An ingenious invention originally meant to digitize bookkeeping, the software has enabled researchers and businesspeople to input infinite rows and columns of disparate data and then analyze the information with the aid of a computer. It is such standard fare today that schoolchildren are as likely to use free spreadsheet programs as financial analysts are to manage budgets.
What spreadsheets cannot do is think. That’s the preserve of newer, more powerful types of software called neural networks, complex artificial intelligence programs designed to mimic the computational processes of the human brain. And for reasons unique to the development of neural networks in recent years, images—rather than so-called structured data, columns and rows of text and numbers, for example—have been the preoccupation of top A.I. researchers. In other words, powerful computers can sift through millions of photos of cats to understand minute feline characteristics. But the same software struggles to intuit fields in a humble spreadsheet.
This has been deeply frustrating to data scientists in fields like medical research, finance, and operations, where structured data is the coin of the realm. The problem, researchers say, is one of emphasis as well as capabilities. “Most of data we deal with is structured, or we have imposed some kind of structure on it,” says Bayan Bruss, an applied machine learning researcher at the financial firm Capital One. “There’s this big gap between the advances in deep learning and the data that we have. A lot of what we do is try to close that gap.”
Fledgling projects at a handful of companies are trying to bridge the divide. At biotech powerhouse Genentech, for example, data scientists recently spent months building a spreadsheet with the health records and genomic data of 55,000 cancer patients. The fields contain nuggets such as age, cholesterol levels, and heart rates, as well as more sophisticated attributes like molecular profiles and genetic abnormalities. Genentech’s plan is to feed this information into a neural network that can map a patient’s health attributes. The hoped-for outcome is a breakthrough drug that is potentially unique to each patient.
The problem is that researchers are just now beginning to teach neural networks how to consume structured data like the spreadsheets Genentech is building. “The majority of our data is structured data, whether it’s from clinical trials or electronic health records,” says Ryan Copping, global head of analytics for personalized health care data science at Genentech. If computer networks can analyze and make their own realizations about similarities among patient profiles, he says, “then you could start looking at outcomes and thinking about which patients we can target with which therapies. That’s the unmet need.”
The opportunities extend far beyond health care. Research firm IDC estimates the commercial sector will generate 5.8 zettabytes of productivity data—sales forecasts, customer data, and the like—this year. A zettabyte of information corresponds roughly to the number of grains of sand on all the world’s beaches. A lot, in other words, says John Rydning, head of IDC’s Global DataSphere program, which measures the amount of data created each year.
This means that businesses of all types, if they can corral the data into a form neural networks can learn from, have a lucrative opportunity. Even slight improvements in predictive capabilities can lead to enormous financial gains, says Athina Kanioura, chief strategy and transformation officer for food giant PepsiCo. “The additional level of accuracy translates to millions of dollars,” she says.
The challenge, then, is getting researchers to work with the kind of data that can be most helpful to business. “The deep networks that are so cool can really do amazing things for our cars and for understanding sentiment from tweets online,” says Peter Bailis, a Stanford professor and also CEO of a Silicon Valley startup called Sisu Data that builds analytical tools for businesses. “But they don’t help us with understanding things like risk or customer satisfaction if our data is stored in tables.” In terms any businessperson can relate to, the question remains: Can A.I. conquer its Excel problem?
*****
Progress in promoting business applications for neural networks rests on getting the programs to understand words as well as they have been able to analyze images. For that, researchers have turned to a technique called word2vec. (The “vec” stands for vector, the type of analytical unit best understood by a neural network.) Word2vec, invented in 2013 by a team of Google researchers and published as an open-source software project, helps computers map the relationships among certain words. It has led to more powerful language systems that recognize, for example, that the word “car” is more closely related to automakers like BMW or Nissan than a food company like Kraft Heinz.
The computational magic of word2vec is its ability to discover those correlations by converting words into a string of numbers that neural networks can understand. Over time, as a neural network is trained on additional text, it groups words according to numerical scores measuring how frequently the words appear near each other. Compared with older so-called natural language processing technologies, these newer systems improve on the pattern recognition attributes typically associated with human thought.
From this computer-assisted word-association game comes an ability to make sense of what is stored in the rows and columns, for instance, of a spreadsheet. This process creates a type of Morse code for a neural network: If the program comes across a sales spreadsheet with a column indicating “days,” it can learn with enough data that certain holidays could impact sales during a particular season without being explicitly told to do so. “It’s kind of the core idea,” says Rachel Thomas, director of the University of San Francisco’s Center for Applied Data Ethics and cofounder of an educational nonprofit called Fast.ai. “Neural networks are providing this infinitely flexible architecture for learning by modeling a particular shape of patterns.”
The investment world alone is rife with opportunities for analyzing words. At Goldman Sachs, a team of researchers trained a neural network to look for words associated with intra-family home transfers. Such noncommercial transactions likely won’t describe the true value of a house, and teaching a software program to factor them out can improve the bank’s analysis. “So we trained a neural network so it learns to pay less attention to a transaction that has that label,” says Charles Elkan, a longtime professor of computer science at the University of California at San Diego who until recently led machine learning projects for Goldman.
Sophisticated word association is also invaluable for logistics operators. The San Francisco grocery-delivery startup Instacart uses a variant of word2vec to teach its algorithms to anticipate customer preferences, particularly when requested items are unavailable. The program converts the words for supermarket inventory items into numerical data so neural networks can process them. The network then groups items together so it can understand, for example, that trail mix has more in common with dried fruit or nuts than it does with coffee. The result is a time and money saver, says Sharath Rao, a machine learning director for Instacart. “Otherwise you would have to think of all the possible pairs and keep a [manual] table,” he says.
*****
For all the momentum behind using deep learning on structured data, hurdles remain. For one, the idea is so new that there’s no tried-and-true way to evaluate how good these techniques are compared with more conventional statistical methods. “It’s a bit of an open question right now,” says Even Oldridge, a data scientist for Nvidia, which makes chips that power A.I. software.
Indeed, given the expense of training neural networks, older data analytics methods may be sufficient for companies that don’t have the right A.I. expertise in-house. “I’m a firm believer that for every company, there isn’t a magic solution that can solve every problem,” says A.I. expert Kanioura, the PepsiCo executive. This is in fact behind the pitch that cloud-services giants Amazon, Microsoft, and Google make: Buy A.I. services from us rather than making large expenditures on talent for potentially incremental returns.
And as with any project where humans aim to teach computers how to “think,” the biases of the living organisms threaten the project. Deep learning systems are only as good as the software’s predictions. Genentech’s data set, for instance, has clinical data on cancer patients dating back 15 years. However, the genomic testing data it uses in its spreadsheet is eight years old, meaning that patient data from before then isn’t as comparable as researchers might like. “If we don’t understand these data sets, we could build models that are totally unreliable,” says Genentech’s Copping.
Still, the potential value of supercharging the analysis of all those spreadsheet fields is nothing less than being able to “predict how long a patient can survive” with a certain treatment, says Copping. Not bad for a bunch of rows and columns.
*****
A handful of corporations are teaching neural networks to work with the kind of structured data that already exists within their walls. A few examples:
Genentech
The biotech pioneer has built a spreadsheet with complex health data from routine records to genomic profiles—from tens of thousands of patients. The stakes are high: If artificial intelligence can properly analyze the data, the result could be medical treatments targeting the disease of iindividual patients.
Goldman Sachs
A. I. presents untold opportunities for investors. The bank hired a machine learning professor to build a tool to teach networks to ignore phrases that could complicate a financial analysis. Example: “Intra-family transfers” likely don’t reflect the accurate value of a home. Teaching a network to find them can improve the model.
Instacart
The grocery-delivery startup has an understandable data set in the inventory of supermarket items its workers pick for customers. The company is teaching its algorithms to do sophisticated word association like matching trail mix with nuts and dried fruit—in order to offer customers alternatives when their choices are out of stock.
A version of this article appears in the October 2020 issue of Fortune with the headline "What makes artificial intelligence look dumb."