-
大数据平台核心架构图鉴 提议收藏
所属栏目:[大数据] 日期:2022-06-29 热度:172
大数据的核心层应该是:数据采集层、数据存储与分析层、数据共享层、数据应用层,可能叫法有所不同,本质上的角色都大同小异。 所以我下面就按这张架构图上的线索,慢慢来剖析一下,大数据的核心技术都包括什么。 01数据采集 数据采集的任务就是把数据从各种[详细]
-
新时代开源数据调度在1000+企业的进化之途
所属栏目:[大数据] 日期:2022-06-29 热度:120
近年来,随着互联网的飞速发展,业务量在短时间内呈现爆发式增长,对应的数据量快速从数百 G 涨至数百 T。无论数据存储还是数据调度,当前数据量已经远超处理能力的上限。若信息处理技术仍渐进式发展,数据处理能力的提升将远落后于指数级增长的数据量。 可[详细]
-
为何很多人宁可用 Excel 也不用 Python
所属栏目:[大数据] 日期:2022-06-27 热度:106
有人说,Python即使不是最好的编程语言,也是最受欢迎的语言之一。因为它简洁易用,功能强大,对初学者也很友好。在众多培训机构的小广告中,学了Python就能批量处理Excel表格,Python是实现办公自动化的利器,从此告别996之类的口号随处可见。但实际工作中[详细]
-
云数据仓库中的数据安全思虑
所属栏目:[大数据] 日期:2022-06-27 热度:113
近年来,由于云计算与云存储具有一定的廉价性和可扩展性,云数据仓库(Cloud data warehouses,CDW)得到了广泛的应用并飞速发展。同时,CDW不但能够存储比本地数据库更多的数据,而且可以通过现代化数据管道,简化了ETL的各种流程,因此许多企业都开始用它[详细]
-
终于有人把MPP大数据系统架构讲清楚了
所属栏目:[大数据] 日期:2022-06-27 热度:55
本文首先回顾并行硬件架构的发展,并进一步介绍基于并行硬件架构的数据库一体机系统与基于MPP架构的数据库软件系统。数据库一体机系统在银行等大型企业中采用广泛,一体机的优点是开箱即用、功能丰富、稳定、售后服务好,缺点是价格昂贵、扩展不灵活。基于普[详细]
-
数据科学家应对的几大挑战及解决方法
所属栏目:[大数据] 日期:2022-06-27 热度:176
每天,全球各地的组织都在寻找2.5万亿字节的数据,以获得对其业务的见解和价值驱动的行动。为了实现这一目标,需要高技能的科学专家或数据科学家参与开发业务中的企业AI。在不断增长的业务领域中,数据科学家的每一个行动都有助于改进业务的功能。 下面来探[详细]
-
使用Java和Python进行数据统计和剖析
所属栏目:[大数据] 日期:2022-06-27 热度:151
Java 和 Python 是当今最流行的两种计算机语言。两者都非常成熟,并提供了工具和技术生态系统,帮助我们解决数据科学领域出现的挑战性问题。每种语言都各有优势,我们要知道什么时候应该使用哪种工具,或者什么时候它们应该协同工作相互补充。 Python 是一种[详细]
-
云迁移之后 企业凭什么充分挖掘数据潜力
所属栏目:[大数据] 日期:2022-06-27 热度:111
近年来,基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)等业务模式正飞速发展,也推动着云投资屡创新高。根据GlobalData的报告,2024年亚太地区云计算市场规模预计将达到1918亿美元,2019至2024年期间的复合年增长率为7.7%。 然而,云迁移[详细]
-
字节跳动数据平台技术揭晓
所属栏目:[大数据] 日期:2022-06-27 热度:94
ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一,拥有着同类型DBMS难以企及的查询速度。作为该领域中的后起之秀,ClickHouse已凭借其性能优势引领了业内新一轮分析型数据库的热潮。但随着企业业务数据量的不断扩大,在复杂query场景下,ClickHouse容[详细]
-
大规模分布式计算学习引擎Ray在字节跳动NLP场景下的践行
所属栏目:[大数据] 日期:2022-06-27 热度:171
RayRTC 是字节基础架构组与字节 AML 组共同合作,在内部 RTC(Realtime Text Classification)文本训练平台上基于 Ray 进行的下一代 Serverless ML 的探索。RTC 文本分类平台是一个一站式的 NLP 服务平台,包括了数据预处理,标注,模型训练,打分,评估,Au[详细]
-
远程访问装有GPU的电脑很不方便 如今有一个值得试试的办法
所属栏目:[大数据] 日期:2022-06-27 热度:79
由于多种原因,很多人无法将在本地存储了大量文件的电脑和软件带回家,好在有办法做到从任何地方发起高质量的远程访问,而无需额外费用。下面介绍几种经过测试的方法,实现方便地远程管理办公电脑。 DOC怎么了? 普通员工只需使用远程桌面协议(RDP协议)连[详细]
-
几款日常的开源无代码测试工具
所属栏目:[大数据] 日期:2022-06-27 热度:134
编程语言一直是自动化测试、自动化测试人员、框架甚至工作职责中不可或缺的一部分。如果一个遗留项目已经使用了Java进行测试,该公司会为该项目寻找具备Java专业知识的人员。同样,如果新项目需要从零开始构建测试流程,那么首要考虑的事情就是团队擅长哪种[详细]
-
耐能一栈式边缘AI解决方案全面赋能智慧视界
所属栏目:[大数据] 日期:2022-06-15 热度:141
伴随着数字化及人工智能的逐步推进,以及十四五规划和2035年远景目标纲要提出推进新型城市建设,全国各地均已相继提出智慧城市解决方案,旨在为各城市进行迭代升级建设,并形成一个高效的、智慧的未来城市。 随着生物识别、智能摄像头、人工智能等技术的发展[详细]
-
人工智能当道,AI高端人才是关键
所属栏目:[大数据] 日期:2022-06-15 热度:96
各行各业都面对着人工智能(AI)当道的趋势,这条康庄大道上常听「AI产业化,产业AI化」这句话,人工智能科技基金会(AIF)CEO温怡玲表示,随着越多企业将AI导入各种解决方案的过程中,经常面临缺乏人才的挑战。究竟何谓AI人才?又该如何培育AI人才?中央大[详细]
-
一个月缩短至3分钟:解读小匠物联零代码开发平台
所属栏目:[大数据] 日期:2022-06-15 热度:139
物联网开发讲求的是效率,市场趋势瞬息万变,如何快速跟上节奏,推出适时的产品是每个终端厂家的必修课。 常规来说,对于一款家电产品的智能化开发,可能需要耗时数月之久。这十分考验厂家的资源与人才整合能力,同时也意味着一笔不菲的投入。而专注于物联网[详细]
-
极视角助力青岛人工智能应用高地与新型智慧城市建设
所属栏目:[大数据] 日期:2022-06-15 热度:87
近日,青岛召开全市实体经济振兴发展动员大会,全面部署开展实体经济振兴发展三年行动,提出聚焦24条重点产业链,对47家首批先进制造业产业链链主企业进行授牌。 青岛市人工智能产业链链主企业 在本次大会上,作为专业的人工智能计算机视觉算法提供商,极视[详细]
-
Google推出全世界最大开放机器学习中心
所属栏目:[大数据] 日期:2022-06-15 热度:153
大约在 24 年前,Google 由两名研究生创立,当时 Google 拥有一个产品,以及一个远大的使命:整合全球信息,供大众使用,使人人受益。在那之后的几十年里,我们一直在推进我们的技术来实现这一使命。 今天,我谈到了我们如何提高我们使命的两个基本方面知识[详细]
-
智能家居的万亿市场,智慧门的发展前景可期
所属栏目:[大数据] 日期:2022-06-15 热度:111
智能家居市场持续发展,传统门升级需求+全屋智能需求融入,智慧门的生长空间巨大。用一个形象的比喻,如果说智能汽车是放大版的智能手机,那智慧门就是放大版的智能中控。 4月14日创米推出小白智慧门BLADE STAR,更进一步探索怎样让门的智能真正落到实用,并[详细]
-
基于人工智能技术的火车轨道状况应用
所属栏目:[大数据] 日期:2022-06-15 热度:84
在 ST,我们相信人工智能 (AI) 在广泛的工业应用中有着光明的未来。这就是为什么我们很高兴能与Lenord + Bauer一起出席Electronica 2018,共同展示工业传感器系统中的 AI 示例,以及列车振动分析的用例。 铁路车厢智能传感 Lenord + Bauer 使用的智能传感[详细]
-
AI将重塑人车交互体验,加速产业智能化
所属栏目:[大数据] 日期:2022-06-15 热度:93
本来自动避障是智能汽车值得称道的卖点之一,可谁能想到汽车会为了躲避一个塑料袋而紧急刹车?这个时候,它变得仿佛没有那么聪明了,还需要进化出更高级的智慧。 但如今在信息化的浪潮中,物联网、云计算、大数据、人工智能(AI)和移动互联等技术正在向传统[详细]
-
渊亭科技参与编制首个AI模型开发管理标准
所属栏目:[大数据] 日期:2022-06-15 热度:154
随着人工智能工程化应用的全面爆发,智能化转型企业的关注从完备易用的工具和平台体系,逐渐转化为数据、算法和模型等AI资产的研发运营和管理。MLOps和ModelOps技术被誉为实现人工智能规模化应用的最佳路径,受到了产业界和人工智能技术应用方的广泛关注。[详细]
-
AMD 机器人入门套件开启未来智慧工厂
所属栏目:[大数据] 日期:2022-06-15 热度:198
加利福尼亚州圣克拉拉 AMD(超威,纳斯达克股票代码:AMD)今日宣布推出 Kria KR260 机器人入门套件,这是 Kria自适应系统模块( SOM )和开发者套件 产品组合的最新成员。作为一款面向机器人的可扩展、开箱即用型开发平台,Kria KR260 协同现有的 Kria K26[详细]
-
几时使用机器学习
所属栏目:[大数据] 日期:2022-06-15 热度:112
为什么要探讨这个话题 探讨这个话题的本质原因是来源于为客户提供数据战略咨询服务时的思考,很多客户的痛点与诉求看似可以用机器学习解决,但实际上却充满风险,所以究竟机器学习什么时候该用,什么时候不该用,便成为了思考的对象。 机器学习起源于学术界[详细]
-
如何让程序员更简单使用机器学习
所属栏目:[大数据] 日期:2022-06-15 热度:75
一直以来,人们试图手工编写算法来理解人工生成的内容,但是成功率极低。例如,计算机很难掌握图像的语义内容。对于这类问题,AI科学家已经尝试通过分析汽车、猫、外套等低级像素来解决,但结果并不理想。尽管颜色直方图和特征检测器在一定程度上发挥了作用[详细]
-
如何建造一支高效率的人工智能团队?
所属栏目:[大数据] 日期:2022-06-15 热度:176
本文将介绍把机器学习基础设施、员工和流程融合的方式,以实现适用于企业的MLOps(面向人工智能系统的运维管理)。本文希望对旨在以高效人工智能团队开发强大的人工智能/机器学习(AI/ML)项目的经理和主管提供启发。 本文的经验来自Provectus公司的人工智能团队[详细]