阅读原文请点击：
http://click.aliyun.com/m/19148/
摘要： 看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？ 本文先给出基本结论： OSS是什么? 对象存储（Object Storage Service，简称OSS）是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务，是一种面向互联网的大规模、通用存储，提供RESTful API，具备容量和处理的弹性扩展能力。
看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？
本文先给出基本结论：
OSS是什么?
对象存储（Object Storage Service，简称OSS）是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务，是一种面向互联网的大规模、通用存储，提供RESTful API，具备容量和处理的弹性扩展能力。
基于OSS是否可以创建数据表？
既然可以把摄像头推流接到OSS，建表属于小Case了。并且2016年在亦龙大神的帮助下，Hadoop社区在官方版本中支持OSS，开启了阿里云存储与开源融合的新里程碑。
OSS上建表是否易用？
今天为了降低OSS上建表的门槛，日志服务（原SLS）LogHub可以支持OSS上表的实时写入（表类型包括TextFile，列存储Parquet），支持压缩及数据Partition配置。在计算引擎端，我们已经和阿里云（MaxCompute、E-MapReduce）和主流开源计算引擎（Presto等）打通，无缝使用多种计算引擎热插拔对接。
既然可以把数据表直接建在HDFS、MaxCompute（原ODPS）上，选择OSS来存储表数据又是为什么呢？
存储与计算分离的趋势
在2009年做大规模计算的核心词是“Locality”：让计算尽量靠近数据以提升效率。当时一个公认的模型是：构建一个足够大的资源池，把数据和计算融合在里面发挥规模效应。
但最近几年以来，生态和环境都悄然发生了一些变化：
计算模式：全量数据计算模式，逐步被Impala、Presto等更高效计算模式赶上
存储格式：ORC/Parquet/Kudu等列存、索引技术诞生，使得计算不需要Scan大块数据
网络架构：25G网络开始上线，FPGA等技术也加快了网络体验
存储介质：SSD、AliFlash、3D X-Point 大量混合技术使得存储可以“既快又猛”
计算平台：GPU、FGPA、甚至是未来的TPU等改变计算形态
从这些变化使得我们发现：
通过一款机型通吃存储+计算方案，已经演变成存储+计算各自服务化，通过高速网络进行连接的趋势
1
这种方式可以使得存储、计算不用再被”机型“，”机柜“，”电力“等方案束缚，在各自最擅长的领域进行创新。从业界对于”分层“的工作中，我们也看到了这类的尝试：
案例1：Netflix 基于S3解决方案
Netflix是AWS创新代表，特别是他们的大数据业务。根据2016 Re:Invent上Slides描述，Netflix每天新增500 Billion条日志（数据量500 TB）、存量数仓规模 60PB、每天会对其中3PB数据做计算。
在Slides中Netflix谈到：从2014年开始就决定开始摒弃各种系统隔阂，底层使用了统一存储S3，之上构建各种计算引擎系统。事实证明Netflix这一步走得正确，海量的存储与计算能力使得商业的创新得到了充分释放，成为AWS上令人引以为傲的学习榜样。
2
受Netflix启发，AWS 在2016 Re:Invent 上推出了一款新的计算产品Athena：该产品将Presto服务化提供基于各种存储类服务的 Ad-Hoc Query能力。
AWS Athena利用多个可用区(Availability Zones)中的计算资源执行查询，并将S3用作底层数据存储系统，由于数据冗余地存储在多个地点和每个地点的多个设备中，服务具备很高的可用性和可靠性。
案例2：Facebook RocksDB项目
Google开源了Level DB，而Facebook通过改造成RocksDB使它上升到新高度。RocksDB除了对LSM模型的多个优化外，另一个非常吸引人的地方在对存储介质、计算层适配得非常友好，可以充分发挥计算和存储的性能。底层的介质与存储对上层API透明热插拔，是在软件设计层面存储+计算分离的一个优美案例。
3
OSS上建立数仓的优势
优势1：不受限制的存储空间
对于数据仓库来说最重要一点是海量存储，能为计算分析提供大数据吞吐支持。在这个点上OSS是非常合适的。
结合OSS的目录设置，对大规模（百万级别以上）文件做合理划分，并与计算引擎配合拿到更高的计算效率。LogHub投递OSS存储支持Hive-style分区目录，将数据按照日期存储，可以设置多维分区。
举个例子，我们有一个应用叫my-app，为应用创建一个dw项目 my-dw，在项目中创建了一组表，以其中一个表my-table作为例子：表中的数据以时间（天）作为partition（例如date='20170330' 代表当天的数据目录)。
整个数仓的层级结构可以映射为OSS的一个访问路径：
my-app 为 OSS 上bucket名称
my-dw 之后则为数仓的项目名（namespace）
my-table是表名
date=20170330是一维分区
4
优势2：极低的存储成本
OSS 是提供实时数据读写“最便宜”存储产品之一，对于100GB日志数据：
使用列存储编码（以Parquet格式为例），通过snappy压缩后，存储数据量在8 GB左右
以OSS当前官网价格计算，使用OSS存储一个月费用为 8 * 0.148 = 1.184 元
除此之外，OSS有两种根据访问频率可任意转换形态：IA（低频）、Archive（冷备），最低可以降低60%成本。OSS 与 IA，Archive之间数据模型是一致的，数据形态可以非常便捷的转换。
5
优势3：一份数据，对接多种计算引擎
我们可以将数据以一种通用的协议存储（例如textfile，sequence file或parquet等），目前OSS上数据支持如下计算引擎：
开源：Spark、Presto、Druid，Pig，Hive等
阿里云：MaxCompute，E-MapReduce、RDS-PG、Batch Compute等
以上计算引擎和存储之间都是热插拔，可以方便地在不同大小的测试、生产数据集上进行切换组合。
对比与传统数仓方案，数据存储于OSS，计算实现了Schema on Read，使得数据分析的自由度得到了很大提升。
6
除了支持多种计算引擎外，OSS 本身还有Geo-Replication功能，可以在不同Region间准实时进行同步，不把鸡蛋放在一个篮子里，以进一步提升重要数据的安全性。
优势4：在计算效率上比肩HDFS类存储
OSS从API上看起来不像HDFS类存储这么细，性能并不一定好？
这里以一个Map-Reduce作业举例，在作业的执行过程中，OSS会在3个地方被用到：
调度：当查询提交时，需要根据计算数据范围 List OSS目录制定plan，确定多少文件目录参与计算
运行：每个Worker根据plan扫描指定目录下文件，读取并进行自定义计算
结果：当计算完成时，写入OSS（计算中间结果产生的Shuffle文件可以写在本机以优化性能，部分场景下也可以选择使用OSS）
7
可见，对于Ad-Hoc Query类场景，OSS在使用模式上都可以完全胜任。
开始在OSS分析数据
数据写入
LogHub（推荐）
直接将日志以准实时方式写入OSS，支持JSON、Parquet格式，投递规则配置如下：
8
数据在OSS存储如下：
2017-04-18 11:50:39 513.75KB oss://oss-shipper-shenzhen-test/tfs_access_log/updatetime=2017_04_18_11_00/log_1492487434507106535_1670221.snappy.parquet
2017-04-18 11:56:01 517.36KB oss://oss-shipper-shenzhen-test/tfs_access_log/updatetime=2017_04_18_11_00/log_1492487754196771821_1670280.snappy.parquet
2017-04-18 12:01:31 537.03KB oss://oss-shipper-shenzhen-test/tfs_access_log/updatetime=2017_04_18_12_00/log_1492488089710991745_1670335.snappy.parquet
2017-04-18 12:06:54 512.95KB oss://oss-shipper-shenzhen-test/tfs_access_log/updatetime=2017_04_18_12_00/log_1492488410774368293_1670389.snappy.parquet
2017-04-18 12:22:55 512.95KB oss://oss-shipper-shenzhen-test/tfs_access_log/updatetime=2017_04_18_12_00/log_1492489370787863606_1670558.snappy.parquet
2017-04-18 12:34:21 261.69KB oss://oss-shipper-shenzhen-test/tfs_access_log/updatetime=2017_04_18_12_00/log_1492490057002827204_1670672.snappy.parquet
object list number is: 5451
totalsize is: real:195677878828, format:182.24GB
通过LogHub写入优势：数据接入LogHub多种选择，全托管归档服务，准实时投递，支持异常重试，STS授权。了解OSS投递请参考文档。
OSS API/SDK
使用OSS 各种SDK或API写入，完全自主的写入方式，参考文档。
计算引擎
E-MapReduce/Spark/Hive 用户：参考社区文档。
MaxCompute 用户（ODPS）：功能内测中。
PG用户：请联系 铁庵。
Presto用户：Local File模式，参考社区文档。
其它：随时一个Get，数据全部拿走。
阅读原文请点击：
http://click.aliyun.com/m/19148/
分享到：
相关推荐
8. **风险管理**：通过函数计算和表格存储，金融机构可以构建实时的风控引擎，结合用户开户信息、交易详情等数据进行风险评估，防止欺诈交易。 9. **安全与合规**：OSS支持RAM（Resource Access Management）进行...
全国大学生智能汽车竞赛自2006年起，由教育部高等教育司委托高等学校自动化类教学指导委员会举办，旨在加强学生实践、创新能力和培养团队精神的一项创意性科技竞赛。该竞赛至今已成功举办多届，吸引了众多高校学生的积极参与，此文件为智能车竞赛介绍
字卡v4.3.4 原版 三种UI+关键字卡控制+支持获取用户信息+支持强制关注 集卡模块从一开始的版本到助力版本再到现在的新规则版本。 集卡模块难度主要在于 如何控制各种不同的字卡组合 被粉丝集齐的数量。 如果不控制那么一定会出现超过数量的粉丝集到指定的字卡组合，造成奖品不够的混乱，如果大奖价值高的话，超过数量的粉丝集到大奖后，就造成商家的活动费用超支了。我们冥思苦想如何才能限制集到指定字卡组合的粉丝数，后我们想到了和支付宝一样的选一张关键字卡来进行规则设置的方式来进行限制，根据奖品所需的关键字卡数，设定规则就可以控制每种奖品所需字卡组合被粉丝集到的数量，规则可以在活动进行中根据需要进行修改，活动规则灵活度高。新版的集卡规则，在此次政府发布号的活动中经受了考验，集到指定字卡组合的粉丝没有超出规则限制。有了这个规则限制后，您无需盯着活动，建好活动后就无人值守让活动进行就行了，您只需要时不时来看下蹭蹭上涨的活动数据即可。 被封？ 无需担心，模块内置有防封功能，支持隐藏主域名，显示炮灰域名，保护活动安全进行。 活动准备？ 只需要您有一个认证服务号即可，支持订阅号借用认证服务号来做活动。如果您
出口设备线体程序详解：PLC通讯下的V90控制与开源FB284工艺对象实战指南,出口设备线体程序详解：PLC通讯与V90控制集成，工艺对象与FB284协同工作，开源学习V90控制技能,出口设备1200线体程序，多个plc走通讯，内部有多个v90,采用工艺对象与fb284 共同控制，功能快全部开源，能快速学会v90的控制 ,出口设备; 1200线体程序; PLC通讯; 多个V90; 工艺对象; FB284; 功能开源; V90控制。,V90工艺控制：开源功能快，快速掌握1200线体程序与PLC通讯
基于Arduino与DAC8031的心电信号模拟器资料：心电信号与正弦波的双重输出应用方案,Arduino与DAC8031心电信号模拟器：生成心电信号与正弦波输出功能详解,基于arduino +DAC8031的心电信号模拟器资料，可输出心电信号，和正弦波 ,基于Arduino;DAC8031;心电信号模拟器;输出心电信号;正弦波输出;模拟器资料,基于Arduino与DAC8031的心电信号模拟器：输出心电与正弦波
MATLAB口罩检测的基本流程 图像采集：通过摄像头或其他图像采集设备获取包含面部的图像。 图像预处理：对采集到的图像进行灰度化、去噪、直方图均衡化等预处理操作，以提高图像质量，便于后续的人脸检测和口罩检测。 人脸检测：利用Haar特征、LBP特征等经典方法或深度学习模型（如MTCNN、FaceBoxes等）在预处理后的图像中定位人脸区域。 口罩检测：在检测到的人脸区域内，进一步分析是否佩戴口罩。这可以通过检测口罩的边缘、纹理等特征，或使用已经训练好的口罩检测模型来实现。 结果输出：将检测结果以可视化方式展示，如在图像上标注人脸和口罩区域，或输出文字提示是否佩戴口罩。
1、文件内容：kernel-debug-devel-3.10.0-1160.119.1.el7.rpm以及相关依赖 2、文件形式：tar.gz压缩包 3、安装指令： #Step1、解压 tar -zxvf /mnt/data/output/kernel-debug-devel-3.10.0-1160.119.1.el7.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm 4、更多资源/技术支持：公众号禅静编程坊
该文档提供了一个关于供应链管理系统开发的详细指南，重点介绍了项目安排、技术实现和框架搭建的相关内容。 文档分为以下几个关键部分： 项目安排：主要步骤包括搭建框架（1天），基础数据模块和权限管理（4天），以及应收应付和销售管理（5天）。 供应链概念：供应链系统的核心流程是通过采购商品放入仓库，并在销售时从仓库提取商品，涉及三个主要订单：采购订单、销售订单和调拨订单。 大数据的应用：介绍了数据挖掘、ETL（数据抽取）和BI（商业智能）在供应链管理中的应用。 技术实现：讲述了DAO（数据访问对象）的重用、服务层的重用、以及前端JS的继承机制、jQuery插件开发等技术细节。 系统框架搭建：包括Maven环境的配置、Web工程的创建、持久化类和映射文件的编写，以及Spring配置文件的实现。 DAO的需求和功能：供应链管理系统的各个模块都涉及分页查询、条件查询、删除、增加、修改操作等需求。 泛型的应用：通过示例说明了在Java语言中如何使用泛型来实现模块化和可扩展性。 文档非常技术导向，适合开发人员参考，用于构建供应链管理系统的架构和功能模块。
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
C#与VB实现欧姆龙PLC的Fins TCP通信案例源码：调用动态链接库进行数据读写，定时器与计数器数据区的简洁读写操作示例,C#与VB实现欧姆龙PLC的Fins TCP通信案例源码：调用动态链接库进行读写操作，涵盖定时器计数器数据区学习案例,C#欧姆龙plc Fins Tcp通信案例上位机源码，有c#和VB的Demo，c#上位机和欧姆龙plc通讯案例源码,调用动态链接库，可以实现上位机的数据连接，可以简单实现D区W区定时器计数器等数据区的读写，是一个非常好的学习案例 ,C#; 欧姆龙PLC; Fins Tcp通信; 上位机源码; 动态链接库; 数据连接; D区W区读写; 定时器计数器; 学习案例,C#实现欧姆龙PLC Fins Tcp通信上位机源码，读写数据区高效学习案例
可调谐石墨烯超材料吸收体的FDTD仿真模拟研究报告：吸收光谱的化学势调节策略与仿真源文件解析,可调谐石墨烯超材料吸收体：化学势调节光谱的FDTD仿真模拟研究,可调谐石墨烯超材料吸收体FDTD仿真模拟 【案例内容】该案例提供了一种可调谐石墨烯超材料吸收体，其吸收光谱可以通过改变施加于石墨烯的化学势来进行调节。 【案例文件】仿真源文件 ,可调谐石墨烯超材料吸收体; FDTD仿真模拟; 化学势调节; 仿真源文件,石墨烯超材料吸收体：FDTD仿真调节吸收光谱案例解析
RBF神经网络控制仿真-第二版
松下PLC与威纶通触摸屏转盘设备控制：FPWINPRO7与EBPRO智能编程与宏指令应用,松下PLC与威纶通触摸屏转盘设备控制解决方案：FPWINPRO7与EBPRO协同工作，实现多工位转盘加工与IEC编程模式控制,松下PLC+威纶通触摸屏的转盘设备 松下PLC工程使用程序版本为FPWINPRO7 7.6.0.0版本 威纶通HMI工程使用程序版本为EBPRO 6.07.02.410S 1.多工位转盘加工控制。 2.国际标准IEC编程模式。 3.触摸屏宏指令应用控制。 ,松下PLC; 威纶通触摸屏; 转盘设备控制; 多工位加工控制; IEC编程模式; 触摸屏宏指令应用,松下PLC与威纶通HMI联控的转盘设备控制程序解析
基于循环神经网络（RNN）的多输入单输出预测模型（适用于时间序列预测与回归分析，需Matlab 2021及以上版本）,基于循环神经网络（RNN）的多输入单输出预测模型（matlab版本2021+），真实值与预测值对比，多种评价指标与线性拟合展示。,RNN预测模型做多输入单输出预测模型，直接替数据就可以用。 程序语言是matlab，需求最低版本为2021及以上。 程序可以出真实值和预测值对比图，线性拟合图，可打印多种评价指标。 PS:以下效果图为测试数据的效果图，主要目的是为了显示程序运行可以出的结果图，具体预测效果以个人的具体数据为准。 2.由于每个人的数据都是独一无二的，因此无法做到可以任何人的数据直接替就可以得到自己满意的效果。 这段程序主要是一个基于循环神经网络（RNN）的预测模型。它的应用领域可以是时间序列预测、回归分析等。下面我将对程序的运行过程进行详细解释和分析。 首先，程序开始时清空环境变量、关闭图窗、清空变量和命令行。然后，通过xlsread函数导入数据，其中'数据的输入'和'数据的输出'是两个Excel文件的文件名。 接下来，程序对数据进行归一化处理。首先使用ma
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
旅游管理系统中的功能模块主要是实现管理员；首页、个人中心、用户管理、旅游方案管理、旅游购买管理、系统管理，用户；首页、个人中心、旅游方案管理、旅游购买管理、我的收藏管理。前台首页；首页、旅游方案、旅游资讯、个人中心、后台管理等功能。经过认真细致的研究，精心准备和规划，最后测试成功，系统可以正常使用。分析功能调整与旅游管理系统实现的实际需求相结合，讨论了Java开发旅游管理系统的使用。 从上面的描述中可以基本可以实现软件的功能： 1、开发实现旅游管理系统的整个系统程序； 2、管理员；首页、个人中心、用户管理、旅游方案管理、旅游购买管理、系统管理等。 3、用户：首页、个人中心、旅游方案管理、旅游购买管理、我的收藏管理。 4、前台首页：首页、旅游方案、旅游资讯、个人中心、后台管理等相应操作； 5、基础数据管理：实现系统基本信息的添加、修改及删除等操作，并且根据需求进行交流查看及回复相应操作。
Boost二级升压光伏并网结构的Simulink建模与MPPT最大功率点追踪：基于功率反馈的扰动观察法调整电压方向研究,Boost二级升压光伏并网结构的Simulink建模与MPPT最大功率点追踪：基于功率反馈的扰动观察法调整电压方向研究,Boost二级升压光伏并网结构，Simulink建模，MPPT最大功率点追踪，扰动观察法采用功率反馈方式，若ΔP>0，说明电压调整的方向正确，可以继续按原方向进行“干扰”；若ΔP<0，说明电压调整的方向错误，需要对“干扰”的方向进行改变。 ,Boost升压;光伏并网结构;Simulink建模;MPPT最大功率点追踪;扰动观察法;功率反馈;电压调整方向。,光伏并网结构中Boost升压MPPT控制策略的Simulink建模与功率反馈扰动观察法
运行GUI版本，可二开
Deepseek相关主题资源及行业影响