183.17.230.*
2020-09-09 13:17:36 |
隨著大數(shù)據(jù)技術(shù)體系的逐步成熟，大數(shù)據(jù)技術(shù)也處于落地應(yīng)用的初期階段，但由于大數(shù)據(jù)技術(shù)所涉及的數(shù)據(jù)本身具有一定的敏感性，因此大數(shù)據(jù)產(chǎn)業(yè)鏈上的許多企業(yè)都處于業(yè)務(wù)發(fā)展的探索階段，有些業(yè)務(wù)也處于所謂的"灰色地帶"，在一定程度上也制約了大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。
如何規(guī)范大數(shù)據(jù)行業(yè)，以及如何讓大數(shù)據(jù)能夠更加合理、順利地落地到產(chǎn)業(yè)領(lǐng)域，并為產(chǎn)業(yè)領(lǐng)域的發(fā)展賦能，將是一個(gè)必須面對(duì)和解決的問(wèn)題。
1)IT向DT(Data Technology,DT)技術(shù)泛型的轉(zhuǎn)變，使得傳統(tǒng)硬件和軟件技術(shù)架構(gòu)面臨挑戰(zhàn)，大規(guī)模并行計(jì)算、量子計(jì)算機(jī)、深度神經(jīng)網(wǎng)絡(luò)芯片、分布式存儲(chǔ)系統(tǒng)、GPU大規(guī)模計(jì)算等都是對(duì)傳統(tǒng)IT技術(shù)架構(gòu)的顛覆。現(xiàn)階段各種大數(shù)據(jù)分析相關(guān)的開(kāi)源技術(shù)和系統(tǒng)百花齊放，大數(shù)據(jù)技術(shù)生態(tài)體系龐雜，技術(shù)門檻較高也間接說(shuō)明了這一點(diǎn)。研究、研發(fā)人員要跟上這一波技術(shù)變革還需要時(shí)間去消化和積累，特別是學(xué)術(shù)界和工業(yè)界的結(jié)合，對(duì)大數(shù)據(jù)應(yīng)用來(lái)講至關(guān)重要，深度學(xué)習(xí)領(lǐng)域的**就是例證。如何在掌握有限技術(shù)的條件下(或受制于核心技術(shù)人才的情況下)，能快速進(jìn)行大數(shù)據(jù)應(yīng)用研究和落地應(yīng)用，需要從技術(shù)選型角度進(jìn)行深入探討、分析和評(píng)估。
2)傳統(tǒng)商業(yè)智能(Business Intelligence,BI)應(yīng)用的失敗教訓(xùn)太多，項(xiàng)目周期漫長(zhǎng)，考驗(yàn)客戶耐性，應(yīng)用投入成本高，終成果多是昂貴的豪華報(bào)表，沒(méi)有達(dá)到預(yù)期效果。另外，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市架構(gòu)下，面對(duì)海量數(shù)據(jù)的存儲(chǔ)能力、擴(kuò)展能力、并發(fā)能力弱等問(wèn)題無(wú)法從根本解決。大數(shù)據(jù)分析如何從BI項(xiàng)目中總結(jié)失敗教訓(xùn)和獲得經(jīng)驗(yàn)，大數(shù)據(jù)應(yīng)用與傳統(tǒng)BI系統(tǒng)是融合還是代替?企業(yè)大數(shù)據(jù)技術(shù)架構(gòu)如何與發(fā)源于互聯(lián)網(wǎng)巨頭的主流大數(shù)據(jù)技術(shù)框架有機(jī)統(tǒng)一?也還有很多問(wèn)題需要深入總結(jié)，解決不好就會(huì)事倍功半。
3)大數(shù)據(jù)應(yīng)用的標(biāo)準(zhǔn)化和產(chǎn)品化問(wèn)題。針對(duì)大數(shù)據(jù)的多源異構(gòu)、動(dòng)態(tài)性、關(guān)聯(lián)性等特點(diǎn)，對(duì)大數(shù)據(jù)分析流程和應(yīng)用進(jìn)行標(biāo)準(zhǔn)化的管理，對(duì)離線分析、在線分析、實(shí)時(shí)分析、內(nèi)存分析等計(jì)算框架的融合處理，對(duì)圖像、文本、視頻、音頻、網(wǎng)頁(yè)、關(guān)系數(shù)據(jù)庫(kù)等多源異構(gòu)數(shù)據(jù)進(jìn)行跨模態(tài)建模，對(duì)大數(shù)據(jù)分析結(jié)果的應(yīng)用效果進(jìn)行量化與評(píng)價(jià)。不管是從技術(shù)選型角度還是業(yè)務(wù)支撐角度，都還有很多問(wèn)題需要實(shí)戰(zhàn)經(jīng)驗(yàn)的積累和支持，想要一勞永逸地解決不現(xiàn)實(shí)。
4)除了前述探討的大數(shù)據(jù)應(yīng)用面臨的挑戰(zhàn)之外，從大數(shù)據(jù)架構(gòu)本身的技術(shù)角度分析還需要解決如下幾個(gè)關(guān)鍵問(wèn)題：高可擴(kuò)展性，能支持大規(guī)模數(shù)據(jù)增長(zhǎng)和大量業(yè)務(wù)分析的快速擴(kuò)展等;高容錯(cuò)性和穩(wěn)定性，能支持大數(shù)據(jù)分析的失敗情況和進(jìn)行自動(dòng)恢復(fù)等;高性能和并行支持，能在海量數(shù)據(jù)條件下快速完成多種計(jì)算模型和分析處理;多源異構(gòu)環(huán)境支持，能處理多模態(tài)數(shù)據(jù)和多種分析任務(wù);開(kāi)放性和共享支持，能提供標(biāo)準(zhǔn)的數(shù)據(jù)和開(kāi)發(fā)接口，支持?jǐn)?shù)據(jù)和系統(tǒng)集成;效率和成本的控制，能在有限的時(shí)間、人力和財(cái)力條件下提高系統(tǒng)性能等，這對(duì)大數(shù)據(jù)系統(tǒng)架構(gòu)的設(shè)計(jì)提出了較高要求。
5)大數(shù)據(jù)管理思維和開(kāi)發(fā)、應(yīng)用實(shí)施的脫節(jié)，大數(shù)據(jù)強(qiáng)化了定量科學(xué)和客觀方法的地位，但事實(shí)上，現(xiàn)階段很多企業(yè)**，包括技術(shù)人員對(duì)大數(shù)據(jù)的處理和使用仍然是主觀性的，而且面對(duì)機(jī)器學(xué)習(xí)的黑箱，對(duì)模型的缺陷和適用范疇很難有深入把握，這樣的話通過(guò)大數(shù)據(jù)挖掘分析量化的結(jié)果也未必更符合客觀事實(shí)，大數(shù)據(jù)不等于好數(shù)據(jù)，如何切實(shí)輔助決策才是關(guān)鍵。
大數(shù)據(jù)技術(shù)落地需要注意哪些問(wèn)題.中琛魔方大數(shù)據(jù)分析平臺(tái)(www.zcmorefun.com)表示如果在使用數(shù)據(jù)技術(shù)的過(guò)程中沒(méi)有邊界限制，可能會(huì)對(duì)大數(shù)據(jù)的用戶形成"認(rèn)知障礙"，這對(duì)用戶來(lái)說(shuō)也是一個(gè)潛在的風(fēng)險(xiǎn)，因此，在大數(shù)據(jù)的登陸應(yīng)用過(guò)程中，應(yīng)該允許大數(shù)據(jù)用戶更多地了解大數(shù)據(jù)技術(shù)的細(xì)節(jié)，大數(shù)據(jù)的參與者應(yīng)該共同促進(jìn)大數(shù)據(jù)的合理發(fā)展。 |
您當(dāng)前的位置: 首頁(yè) > 行業(yè)貼吧 > 話題