課題方向：大數(shù)據(jù)在金融、電子商務(wù)等行業(yè)的應(yīng)用

指導(dǎo)老師：楊錫怡

文字編輯：林東吳

7月26日，站在上海銀行大廈21樓寬敞的落地窗邊，同學(xué)們遙望對(duì)面的上海環(huán)球金融中心，看到的是綿延繁榮兩三千年后，在大數(shù)據(jù)的支持下，又綻放起全新活力的金融行業(yè)。

我們上科大的學(xué)生對(duì)于大數(shù)據(jù)技術(shù)的常用架構(gòu)、算法都有一定的了解，但實(shí)際業(yè)務(wù)過(guò)程中都存在哪些權(quán)衡、技術(shù)與業(yè)務(wù)究竟如何對(duì)接，都是需要到產(chǎn)業(yè)的前沿去學(xué)習(xí)。因此我們?cè)诔霭l(fā)前都做足了功課，希望能更有針對(duì)性地汲取業(yè)界經(jīng)驗(yàn)，了解產(chǎn)業(yè)界從數(shù)據(jù)源獲取、數(shù)據(jù)清洗、分析到利用的實(shí)際過(guò)程與課堂上學(xué)到的有何不同。

這天上午，作為課題組帶隊(duì)的創(chuàng)管學(xué)院楊錫怡助理教授安排我們與上海銀行負(fù)責(zé)大數(shù)據(jù)項(xiàng)目業(yè)務(wù)部分的一位經(jīng)理進(jìn)行交流。不得不贊嘆金融行業(yè)人才濟(jì)濟(jì)，干凈拔練的著裝，映襯著這位經(jīng)理對(duì)于業(yè)務(wù)的熟稔;內(nèi)容豐富的分享，散發(fā)出多年經(jīng)驗(yàn)帶來(lái)的從容。“目前大數(shù)據(jù)項(xiàng)目為我們帶來(lái)的主要是數(shù)據(jù)驅(qū)動(dòng)的決策、征信的貸前貸后，以及不浪費(fèi)客戶(hù)耐心的精準(zhǔn)營(yíng)銷(xiāo)?！彼硎?，銀行是一個(gè)“數(shù)據(jù)孤島”，比起B(yǎng)AT等數(shù)據(jù)巨頭，他們對(duì)用戶(hù)做畫(huà)像有一定的難度。但業(yè)務(wù)上的需求其實(shí)并不高，對(duì)數(shù)據(jù)的主要展示需求也就是雙維度的數(shù)據(jù)圖表，以及排序的因變量等等，因此背后的處理手段也是非?；A(chǔ)常見(jiàn)的算法，而學(xué)術(shù)界的前沿技術(shù)反而因?yàn)樾什桓摺⒖山忉屝缘拖露y以使用，并不那么受業(yè)務(wù)人員歡迎。

講解過(guò)程中，同學(xué)們不斷針對(duì)當(dāng)前內(nèi)容提出問(wèn)題，氣氛輕松而學(xué)術(shù)。經(jīng)理也對(duì)演示文稿上沒(méi)有準(zhǔn)備的內(nèi)容作了許多延伸介紹，讓同學(xué)們理解了銀行是如何通過(guò)選擇性購(gòu)買(mǎi)外部數(shù)據(jù)源來(lái)跳出數(shù)據(jù)孤島、以及數(shù)據(jù)最終是如何形成策略樹(shù)自動(dòng)化地落實(shí)到業(yè)務(wù)層面等等。介紹結(jié)束后，同學(xué)們問(wèn)題的密集火力還持續(xù)轟擊了很長(zhǎng)一段時(shí)間，因此離開(kāi)上海銀行大廈的時(shí)候，心中都感到一種由衷的充實(shí)。

下午，同學(xué)們來(lái)到了上海銀行的技術(shù)部。這里令人矚目的正方體建筑就是他們的數(shù)據(jù)中心，有“進(jìn)去就出不來(lái)、靠近就會(huì)迷路”的傳說(shuō)。楊老師為我們聯(lián)系的技術(shù)部主管展示了應(yīng)用在數(shù)據(jù)中心中的各項(xiàng)底層技術(shù)細(xì)節(jié)，例如如何通過(guò)數(shù)據(jù)拉鏈降低存儲(chǔ)壓力等，可以說(shuō)在不涉密的條件下非常“干貨”地分享了他這幾年的經(jīng)驗(yàn)。緊接著，結(jié)合技術(shù)部工作人員的講解，同學(xué)們了解了上海銀行在大數(shù)據(jù)方面的特征:求穩(wěn)、數(shù)據(jù)干凈、看重需求落地。在諸多信息的沖擊下，走出會(huì)議室時(shí)，同學(xué)們都若有所思。

銀行業(yè)作為古老的行當(dāng)進(jìn)入大數(shù)據(jù)的領(lǐng)域步子不會(huì)太大，作為產(chǎn)業(yè)實(shí)踐的第一站十分合適。而同學(xué)們又開(kāi)始期待起來(lái):周四的攜程之行，又會(huì)給我們?cè)鲩L(zhǎng)多少“經(jīng)驗(yàn)值”呢？

果不其然，7月28日周四的攜程之行給了我們一個(gè)震撼的開(kāi)場(chǎng)。攜程展示出他們類(lèi)似鐘馗之眼的熱點(diǎn)圖，代表旅客的光點(diǎn)在全國(guó)各處流動(dòng)，若流螢，若星軌，同學(xué)們嘖嘖稱(chēng)奇，直觀(guān)地了解到他們?cè)谡勑﹂g默默承受了多大的訪(fǎng)問(wèn)量。

在展示熱點(diǎn)圖的監(jiān)控室內(nèi)，回答了同學(xué)們一些問(wèn)題后，襯衫牛仔衣著休閑的負(fù)責(zé)人揮手讓管理員切換出他們常用的切面視圖：恒河沙數(shù)的訪(fǎng)問(wèn)被分解到集群中，經(jīng)過(guò)精心埋點(diǎn)，監(jiān)控者可以很快定位到需要修復(fù)的幾個(gè)可能位置。60 : 9寬屏的中部顯示著當(dāng)前下線(xiàn)的slave，左側(cè)則提示著一些服務(wù)器壓力較大。在負(fù)責(zé)人帶著大家從右到左踱步，介紹屏幕上各項(xiàng)指標(biāo)時(shí)，一群工程師就在同學(xué)們身后的工位上緊張地進(jìn)行修復(fù)作業(yè)。

當(dāng)然，在同學(xué)們的逼問(wèn)下，負(fù)責(zé)人也很坦誠(chéng)地表示，目前工作量主要在集群運(yùn)維上，系統(tǒng)智能化程度還不夠高，大量Log被直接丟棄，問(wèn)題的發(fā)現(xiàn)主要還是靠人工和經(jīng)驗(yàn)。他們總結(jié)出“改動(dòng)后很容易出問(wèn)題”等看似淺顯的經(jīng)驗(yàn)，道理淺顯，但正是這類(lèi)經(jīng)驗(yàn)在保證上線(xiàn)動(dòng)作的工程化。

同學(xué)們從攜程那流線(xiàn)型的辦公樓魚(yú)貫而出，此時(shí)已是中午，艷陽(yáng)撒下大量光子，大多被直接丟棄在地上，少部分被同學(xué)們承接，卻已熱得令人發(fā)狂。飯后，同學(xué)們來(lái)到相隔一個(gè)街區(qū)的業(yè)務(wù)部，調(diào)研業(yè)務(wù)相關(guān)的技術(shù)。同學(xué)們很明顯地感覺(jué)到，在業(yè)務(wù)需求的驅(qū)動(dòng)下，這個(gè)部門(mén)對(duì)于數(shù)據(jù)的利用更有“大數(shù)據(jù)”的感覺(jué)。工作人員介紹說(shuō)，通過(guò)使用Hadoop等大數(shù)據(jù)“全家桶”、DataX之類(lèi)的救場(chǎng)工具，結(jié)合在一起后，整個(gè)系統(tǒng)虎虎生威。通過(guò)這套系統(tǒng)，攜程明確了業(yè)務(wù)人員的KPI應(yīng)該以哪幾項(xiàng)數(shù)據(jù)為準(zhǔn)、不同等級(jí)的業(yè)務(wù)人員如何分配給相應(yīng)等級(jí)的客戶(hù)，可以說(shuō)，領(lǐng)導(dǎo)對(duì)他們的成果非常滿(mǎn)意。

聽(tīng)完業(yè)務(wù)部的報(bào)告，同學(xué)們意識(shí)到，實(shí)際業(yè)務(wù)中很難見(jiàn)到需要非結(jié)構(gòu)化數(shù)據(jù)的場(chǎng)景，就算遇到了，業(yè)務(wù)對(duì)于這類(lèi)數(shù)據(jù)也是持不信任的態(tài)度。同學(xué)們的許多提問(wèn)都指向這一點(diǎn)，因此業(yè)務(wù)部派來(lái)作報(bào)告的青年工程師明確地回答了這一點(diǎn)。其次，從業(yè)務(wù)需求出發(fā)開(kāi)發(fā)的系統(tǒng)并不會(huì)利用到信息之間所有的關(guān)聯(lián)，這對(duì)學(xué)院派思維的同學(xué)有一定的指導(dǎo)意義：不是做出來(lái)很高大上的系統(tǒng)，就必然是好的。

這兩天的產(chǎn)業(yè)實(shí)踐給了同學(xué)們很大的沖擊。準(zhǔn)備充分的那部分同學(xué)，看到了與他們想象中的“大數(shù)據(jù)”不一樣的現(xiàn)實(shí)世界;對(duì)此行還比較懵懂的同學(xué)，則對(duì)什么是大數(shù)據(jù)不再陌生。楊老師為我們精心挑選了兩家業(yè)務(wù)主導(dǎo)、技術(shù)跟進(jìn)的公司，有她的良苦用心：技術(shù)很容易就能用課外時(shí)間熟練，業(yè)務(wù)卻要用血和汗來(lái)交換。上科大的產(chǎn)業(yè)實(shí)踐以業(yè)務(wù)開(kāi)始，再以業(yè)務(wù)畫(huà)上句號(hào)，其間點(diǎn)綴著的技術(shù)細(xì)節(jié)可能兩年后同學(xué)們不再記得，但業(yè)務(wù)需求如何引入大數(shù)據(jù)、大數(shù)據(jù)又怎么反哺業(yè)務(wù)，這與“Design Thinking”“應(yīng)用創(chuàng)新”遙相呼應(yīng)的橋段，必然令同學(xué)們受用終生。

同學(xué)們與上海銀行工作人員交流

同學(xué)們?cè)跀y程了解公司發(fā)展歷程

同學(xué)們?cè)跀y程參觀(guān)

同學(xué)們?cè)跀y程合影