业务背景:
客户是國(guó)内某大型ICT服务提供商和终端设备制造站能商,基于自身业务需求,需要開(kāi)發(fā)一款大数据计高門算平台。
产品介绍:
该大数据平台旨在解决大规模数据计算的性能(néng)風拍问题,提供数据高性能(néng)计算的相关服务,包括流计算服务、HAN做得A服务、API服务等,涵盖了从业务系统采集数据、同步数据到(dào)件冷实時(shí)计算平台、计算加速逻辑開(kāi)發(fā)、结果發(f飛器ā)布整个流程。该平台主要提供以下三个功能(néng):
产品架构:
客户收益:
在该产品開(k頻鐘āi)發(fā)過(guò)程中,佰钧成(chéng)实现了零代码接口開請好(kāi)發(fā)和配置式服务项開(kāi)發(fā)。该平台配置完服什成(chéng)即可部署调测,减少接口開(kāi)發(fā)、部署和西和调试的時(shí)间。快速实现实時(shí)计算应用的部署运行,减少业务侧開(作算kāi)發(fā)测试及生产环境资源申请和维护的成(chéng)本。满足了客朋雨户公司各领域、产品线实時(shí)数据统计和处理的各类需求,使其月妹服务更加及時(shí)高效,为数据分析和有效决策提供了技术支撑。
业务背景:
對(duì)于我國(guó)家电企业来說(shuō),大数据应用是支著麗撑企业智能(néng)化转型的坚实基础,只有通過(guò)用户数据的获取,對(謝道duì)消费者消费习惯和需求的解读,才能(néng)够特定的舊河满足不同消费者的特殊需求。而我國(guó)家电市场在售的产品還(hái)是錢科以传统家电为主,具备搜集用户数据功能(néng)的智能(néng)那那家电普及率還(hái)较低;其次,我國(guó)家电企业现在大数据研究的飛兒方向(xiàng)大多关注的是用户的基本信息,而沒(méi)站有有关注到(dào)用户的使用习惯和使用需求等信息,并沒(méi)有起(qǐ要你)到(dào)指导产品研發(fā)和市场方向(xiàng)的关键作用。
解决方案:
在這(zhè)个背景下,佰钧成(chéng)基于hadoop/ s樹麗park/ kettle等開(kāi)源软件部署,利用创新的自然秒南语言处理算法,開(kāi)發(fā)了一款具有高效数据采集能(néng)理舊力、丰富行业词典库,稳健易扩展的大数据营销辅助系统。系统主要包括三大部分:
Ø 数据基础平台:数据基础平台分为ODS/ EDW/ DM三个数据层,数据均存为H水都DFS文件,通過(guò)hive/ impala/ hbase進(廠明jìn)行调用。数据存储和处理的核心模块,实现数据全生命周期管理,廠司保障整个分布式系统的稳定高效,可對(duì)分布式集群中的服务器基础资源实時(農請shí)监控,對(duì)数据处理应用程序的执行情况進(jìn)妹店行实時(shí)监控。
Ø 报表平台:报表平台采用永洪报表工具,可以進(jìn)行可视化报數村表定制,可支持在PC端和移动终端展现,并支持大屏展示,移动前端技討經(jīng)由移动互联网访问基于基础平台的後(hòu)台服务冷村。
Ø 数据调度平台是基于java開(kāi)發(fā)的hadoop平台数据的调度工這工具,平台支持分主题,分任务,作业监控,作业日志查询,操作简便,能(員喝néng)批量导入、导出作业。
覆盖数据草微:我们將(jiāng)产品提供商内部涉及到(dào)产品供应、营销票熱及相关职能(néng)部门数据,消费者使用数据,以及公共平台上的产品评论、竞業唱品表现及人口统计等数据集成(chéng)到(dào)一起(qǐ),为企业营销与開低产品设计提供全面(miàn)的数据支撑。
平台架构:
产品收益:
该产品全方位洞察消费者,构建用户360度画像信息,通過(guò)對(女工duì)消费者的多维度分析,实现企业對(duì)特征用户群需求的深度挖掘綠說,促進(jìn)企业在产品设计、个性化服务、风险控制、新客户获取等了為各方面(miàn)业务的优化创新,贴合受众需求,增加受众黏性,最商雨大化释放用户价值,切实有效落实以用户为核心的策略。
业务背景:
客户是國(guó)内某錢影电信运营商分公司,在經(jīng)過(guò)多年的市场推广和运营,日化该运营商积累的大量数据一直沒(méi)有得到(dào)有效的利章快用。而当地政府机关出于社會(huì)安保、城市规划和交通疏导等方面(mi玩區àn)的考虑,需要运用该运营商掌握的用户位置信息提供数据支持舊船。
解决方案:
佰钧成(chéng銀子)面(miàn)對(duì)此需求,依托运营商B/ O域数据和大数据分析愛算方法,基于实時(shí)流处理和离线处理的融合架构,利用Fl畫不ume/ Spark/ Kafka/ Hadoop/ Oracle等数据存储什坐和处理技术,建立高精度的用户行为模型,形成(chéng)了围绕著司位置信息的流量热力、人口分布、人群迁徙、职住全景四大功能(nén購業g)产品,成(chéng)功的满足了该地政府公共安全、智慧旅游、城市规明如划、区域价值评估等需求,并为開(kāi)展相关决策和营销等工作提供了子看数据支撑。
根据项目操作需求,佰钧員少成(chéng)成(chéng)功的將(jiāng)数据处理延跳和迟速度降低到(dào)5分钟,在运营商信令位置数据中属领先地位;并采用了好睡基于MR位置信令的人工智能(néng)轨迹拟合算法,可以將(jiā報匠ng)基站提供的MR信息進(jìn)行過(guò)滤、整理,并与地图上的道風銀(dào)路信息進(jìn)行轨迹拟合,准确還(hái)原用國票户轨迹。
覆盖数据:
佰钧成那舊(chéng)將(jiāng)用户位置及画像信息封装成(chéng)原子特征,下文形成(chéng)兩(liǎng)横一纵的系统架构,结合具体应用场景身做可將(jiāng)各原子组装为应用产品满足特定需要。
平台架构:
客户收益:
该平台帮助运外要营商將(jiāng)長(cháng)期运营的业务数据再次投入到(花了dào)商业领域,通過(guò)這(zhè)些看似无关的数据,經(jīn在紅g)過(guò)处理、分析、過(guò)滤後(hòu)重新進(j歌話ìn)行组织,發(fā)现隐藏于数据背後(hòu)的巨大意义,使沉媽中睡的数据再次焕發(fā)生机。這(zhè)些数据已应用于多个业务领器南域,未来還(hái)會(huì)根据市场需求進(jìn)一步拓展。为政企鐘議实体带来巨大經(jīng)济价值的同時(shí),還(hái)创造了客观的社體事會(huì)效益。