精华频道 → 开源软件
阅读更多

开源软件
名家访谈 Java应用级产品开发平台APDPlat作者杨尚川专访  

2013-04-07  编辑 wangguo 评论(130条) 有90428人浏览
APDPlat Java 开源

声明：ITeye精华文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

APDPlat是Application Product Development Platform的缩写，即应用级产品开发平台，可以帮助你快速开发基于B/S多层架构的信息管理系统。而对于Java初级开发者，也能从APDPlat中学到众多的架构设计原则及编码技巧。

项目官网：http://apdplat.org/
在线Demo：http://apdplat.net/（用户：admin  密码：admin）



为了使大家对APDPlat有进一步的了解，本期我们采访了APDPlat的作者杨尚川。

ITeye期待并致力于为国内优秀的开源项目提供一个免费的推广平台，如果你和你的团队希望将自己的开源项目介绍给更多的开发者，或者你希望我们对哪些开源项目进行专访，请告诉我们，发站内短信给ITeye管理员或者发邮件到webmaster@iteye.com即可。

先来个自我介绍吧！ Top

我叫杨尚川，从2005开始就一直从事Java开发。2010年开始NUTCH相关框架的研究，目前为独立咨询顾问，专注于大数据、搜索引擎等相关技术。

APDPlat是什么？有哪些功能？ Top

APDPlat是Application Product Development Platform的缩写，意为应用级产品开发平台。

作为应用级产品的开发平台，APDPlat提供了应用容器、多模块架构、代码生成、安装程序、认证授权、备份恢复、数据字典、web service、系统监控、操作审计、统计图表、机器绑定、防止破解、数据安全、内置搜索、数据转换、maven支持、WEB组件、内容管理等功能。

开发这个项目的初衷是什么？为什么会选择开源？ Top

2008年我发起这个项目，最初的目的是为了方便自己做项目，之后一直持续重构，持续改进，特别是对简洁的追求。目前APDPlat只有不到一万五千行Java代码，其中还有很多代码是工具类或是为扩展做准备的代码。

2010年以后，我主要从事NUTCH相关的研发工作，而且APDPlat已经相对成熟，所以2012年我选择将APDPlat在GitHub上面开源，希望能吸引更多的开发者，注入新鲜的血液，同时也希望以码会友，共同交流。

APDPlat的实现原理是什么？采用了哪些技术和框架？ Top

APDPlat底层几乎全部采用Java开源框架，对Spring、Struts2、Compass做了定制修改，接管了系统启动和关闭的控制权，统一了配置文件，并实现了诸多平台级的功能，为应用级产品开发铺平了道路。

对于一个平台来说，讲究成熟稳定，功能丰富，因此需要众多的框架来支持，而不是去重新发明轮子。APDPlat用到的开源框架主要有：

  • Web前端采用EXT JS
  • 前端控制器采用Struts2
  • IOC容器采用Spring
  • ORM采用JPA，默认实现是Hibernate
  • 内置搜索采用Compass，扩展方案采用Solr
  • 认证授权采用SpringSecurity
  • 代码生成采用Freemarker
  • 日志组件采用SLF4J
  • 调度组件采用Quartz
  • 验证码采用Jcaptcha
  • Web Service采用CXF
  • SQL监控采用P6SPY
  • JS和CSS压缩采用YUI Compressor
  • JAVA代码混淆采用Allatori
  • 获取系统信息采用Sigar
  • 单元测试采用JUnit
  • 配置文件加密采用Jasypt
  • 缓存采用EhCache或是Memcached
  • 数据库连接池采用CommonsDBCP
  • Office文档操作采用POI

APDPlat的目标用户及定位是什么？ Top

APDPlat的目标用户是广大的Java工程师。

因为APDPlat是基于众多Java开源框架的，所以没有扎实的Java功底是驾驭不了的。对于Java的入门者或是初级工程师来说，可以把APDPlat当成一个案例来学习。只有熟练掌握Java技能的工程师才能使用APDPlat做到“快速开发”。

APDPlat并没有提供可视化的建模环境，所以它不是“针对业务人员的快速开发平台”。

与同类型的开发平台相比，你认为APDPlat的优势或特色是什么？ Top

对于同类型的开发平台，我所知甚少，很难比较。

在我看来，APDPlat开箱即用，默认提供的功能不需修改立即可用，尤其适合研发能力相对薄弱的微小企业以及工作室。

APDPlat的性能如何？ Top

混淆优化JAVA代码，并使用“懒加载”以及“缓存”技术，Java代码的性能表现优异。

压缩优化CSS和JS，并启用HTTP、GZIP以及浏览器缓存，Web前端的性能也表现优异。

有没有统计目前采用APDPlat平台开发的应用有多少？有哪些典型应用？ Top

在GitHub开源后，目前APDPlat已经被Fork了170多次，至于用户开发了哪些应用，我还没有得到反馈。就我自己来说，典型应用主要是B/S架构的管理信息系统。

如何基于APDPlat快速开发？ Top

要想基于APDPlat实现快速开发，需要阅读APDPlat  Wiki，并有两个前提：

  • 一是需要对JPA有深入的理解
  • 二是需要对EXT JS有深入的理解。

目前APDPlat的开发团队有几个人？如何参与贡献？ Top

APDPlat正在招募开发队员，目前的开发主要是我一个人。

在GitHub上面Fork APDPlat，增加功能或是BUG修复之后，使用GitHub的Pull Request可参与贡献。

APDPlat的开源协议是什么？你对开源怎么理解？你如何看待国内的开源环境？ Top

APDPlat采用GNU GENERAL PUBLIC LICENSE Version 3作为开源协议。

开源的项目更让人放心，因为它公开、透明、安全、可控。参与开源项目需要持续地投入时间与精力，要有奉献与协作精神。

目前国内具有开源精神的人还不是很多，大家对如何使用开源项目很热衷，而参与开发的就少了。

APDPlat的未来发展计划？ Top

APDPlat将来要加入工作流、Android客户端、安装程序、完善现有的功能、BUG修复。

另外，你还推出了一套Nutch相关框架视频教程，你对想学习Nutch的同学有什么建议？ Top

《Nutch相关框架视频教程》是一系列的视频教程，详细讲解了跟Nutch相关的框架，这些框架主要有Lucene、Hadoop、Solr、Tika、Gora、HBase等，其中Nutch是网络爬虫、Lucene是全文检索工具包、Hadoop是分布式存储与计算、Solr是搜索服务器、Tika是内容分析工具包、Gora是ORM的大数据版、HBase是基于Hadoop的分布式数据库，都是Java开源框架。

作为一个Java工程师，这些技术我相信大家都有所耳闻，尤其是Lucene，几乎可以应用到带有搜索功能的所有项目中。Solr基于Lucene，提供了更多的企业级特性。Tika可以从各种不同的文档中提取元数据和结构化文本内容。Nutch从一开始的搜索引擎演变为如今的网络爬虫，在进化过程中，产生了Hadoop、Tika和Gora三个项目，如今这三个项目都发展迅速，极其火爆，尤其是Hadoop，其已成为大数据和云计算的代名词。

我希望这套视频能对学习的同学起到抛砖引玉的作用，激发大家学习大数据、搜索引擎的热情。
  • 大小: 135.5 KB
  • 大小: 26.6 KB


评论 共 130 条
70 楼 bybsky 2013-04-11 09:23
amar0088 写道
这种东西见得太多了。没有什么特色真别称平台。不够丢人的。

你能否把你见到的列出来吗，空口无凭。
69 楼 bybsky 2013-04-11 09:23
杨尚川 这种精神非常值得推广和肯定。
68 楼 happynewplay 2013-04-11 08:43
支持开源...中国人就是喷子和垃圾多.别理会那些人~
67 楼 sarkara 2013-04-11 08:38
yangshangchuan 写道
sarkara 写道
yangshangchuan 写道


基本的“项目本身”的文档都没有，看了一下群里的对答，基本以“APDPlat不是针对业务人员的快速开发平台，而是针对JAVA工程师的开放平台”回应。
sarkara 写道
基本的“项目本身”的文档都没有，看了一下群里的对答，基本以“APDPlat不是针对业务人员的快速开发平台，而是针对JAVA工程师的开放平台”回应。


2008年我发起这个项目，最初的目的是为了方便自己做项目，所以文档是有欠缺，之后会补上。
APDPlat并没有提供可视化的建模环境，所以它不是“针对业务人员的快速开发平台”。
如果你不是搞JAVA的，研究APDPlat就是浪费你的时间。

业务人员会来看开发平台？这个假想敌树得太假想了。

你不知道还有针对业务人员的开发平台吗？

Q：这部汽车有操作手册吗？
A：这部汽车是给司机开的不是给非司机开的。
Q：有给非司机开的车吗？
A：你不知道有童车吗？

楼主，开源不是来听赞美的，不是来当丁春秋的，项目都活在心理舒适区了没法得到改进。开源值得肯定，但是满篇都是辩解，对问题态度对立大于讨论，这不是个好兆头，不是一个工程师应有的态度。
66 楼 elgs 2013-04-11 01:13
yangshangchuan 写道
elgs 写道
Extjs 只有Commercial License和GPL License。这个项目用Apache开源可能是违法的。除非用户自己下载Extjs。


APDPlat采用GNU GENERAL PUBLIC LICENSE, Version 3作为开源协议。


那就没问题了，好像正文对License的描述有错。
65 楼 yangshangchuan 2013-04-11 00:26
elgs 写道
Extjs 只有Commercial License和GPL License。这个项目用Apache开源可能是违法的。除非用户自己下载Extjs。


APDPlat采用GNU GENERAL PUBLIC LICENSE, Version 3作为开源协议。
64 楼 yangshangchuan 2013-04-11 00:25
半人马 写道
把GPL协议的extjs v3打进包里然后以Apache协议发布，真是无知得可以。


APDPlat采用GNU GENERAL PUBLIC LICENSE, Version 3作为开源协议。
63 楼 shangql 2013-04-11 00:09
Extjs前端做的很好，我只做过ExtJs + Spring + Postgres 的。只看前端demo就是很好。
62 楼 Hazin 2013-04-10 23:08
感谢前辈的分享精神，可以学到很多，希望国内的开源项目越做越多，越做越好！
61 楼 半人马 2013-04-10 17:39
把GPL协议的extjs v3打进包里然后以Apache协议发布，真是无知得可以。
60 楼 hanjiangit 2013-04-10 17:36
希望楼主能公开平台的架构文档
59 楼 w156445045 2013-04-10 16:35
支持开源事业！很多新人也可以从开源的项目中学习不少东西，真心感谢。
那些尖锐的批评之声，未免过于刻薄，毕竟，能把自己辛苦积累下来的东西开源，本身这种精神就值得鼓励。加油！
58 楼 onelee 2013-04-10 11:13
挺不错的，，， 也很想加入··
57 楼 lection.yu 2013-04-10 10:10
yangshangchuan 写道
houyujiangjun 写道
很早之前就听说过这个平台，功能还是挺多了，作者一个人做的，还是想的挺全面，而且都开源了，数据库也公布了，我觉得挺不错，这种精神就值得学习，肯定有人写的会比这个平台好，但是还有相当多的人写不出来这种东西，开源了，他们就有一个快速学习的途径了。
毕竟大家都是从菜鸟过来的。
我说一下自己的看法，很浅薄，不置可否：
1.extjs挺败笔的，界面是真不好看，我以前也是用extjs和jquery easyUI这种东西，后来自己搞了一套html5+css3的东西，还挺炫，就是不支持ie8下来，没有拿出来现眼的必要了，extjs搞的整个系统一点都不快，动不动就是加载中，毕竟extjs太庞杂了。extjs的局限很大，就不一一细说了。
2.这里面的懒加载，不能直接就这样用，用户体验不好，当数据量不大的时候，应该精简数据格式一次加载，数据量有可能大的地方再使用，区别对待。
3.我真的看到hibernate就怕。。。一点都不灵活，复杂的sql语句写不出来，用hql写复杂查询就是找死。。。
4.应该对ckeditor进行美化，既然做了皮肤，ckeditor那难看的灰色也要跟着做相应变动，不然太突兀了，我修改过，这个不复杂。
5.高级搜索这种东西，是一定不能用弹出层来做的，这是用户体验的大忌。


1、你可能没注意这个项目是怎么来的，我选EXT JS就是为了可以不找美工。你说界面不好看，我倒是觉得蛮好看的，审美不同。你说EXT JS很慢，不过在我手机上面访问APDPlat的DEMO，点击的反应都是控制在1秒内的，除了第一次需要下载外。
2、关于懒加载，我就不跟你辩论了，仁者见仁智者见智。
3、你害怕hibernate估计你不喜欢它，可是我喜欢。
4、如果你愿意，你可以共享一下ckeditor的代码，欢迎GITHUB提交代码。
5、高级搜索我倒是不觉得是用户体验大忌，还真没用户跟我提过不要弹出来。

这种讨论很有意思。我个人对Hibernate还是非常欣赏和喜欢的，或者说对于比较全面的ORM都是很喜欢的，我觉得非常好用。其他的没太多体验，不说了。高级搜索的用户体验，我没有任何经验。
56 楼 lzy19881227 2013-04-10 08:59
加油 ！ 坚持走自己的路 因为是自己选择的  那句话说得好 ：不被白眼和嘲笑的梦想不叫梦想嘛
55 楼 tag13346 2013-04-09 23:09
简单来讲，开源这东西说起来容易，给大家看就行了。但是本质上和写论文是一样的，如果没有新的理念，新的技术，或者在性能、扩展性、资源占用等硬指标上没有一个可以让人信服的评测数据，在发论文的时候，会被认为是抄袭。一般软件没那么在意，但是作为产品却是没有意义的，这就是很多人能写出不错的东西，但是也不会开源的。作为练习放到github上没问题，但是大肆推广就有点过了
54 楼 yangshangchuan 2013-04-09 18:36
Leon.Wood 写道
这得什么样的审美才能做出如此绚烂多姿的logo来?

四种颜色用于区隔识别，谈不上绚烂多姿吧？
53 楼 yangshangchuan 2013-04-09 18:32
houyujiangjun 写道
很早之前就听说过这个平台，功能还是挺多了，作者一个人做的，还是想的挺全面，而且都开源了，数据库也公布了，我觉得挺不错，这种精神就值得学习，肯定有人写的会比这个平台好，但是还有相当多的人写不出来这种东西，开源了，他们就有一个快速学习的途径了。
毕竟大家都是从菜鸟过来的。
我说一下自己的看法，很浅薄，不置可否：
1.extjs挺败笔的，界面是真不好看，我以前也是用extjs和jquery easyUI这种东西，后来自己搞了一套html5+css3的东西，还挺炫，就是不支持ie8下来，没有拿出来现眼的必要了，extjs搞的整个系统一点都不快，动不动就是加载中，毕竟extjs太庞杂了。extjs的局限很大，就不一一细说了。
2.这里面的懒加载，不能直接就这样用，用户体验不好，当数据量不大的时候，应该精简数据格式一次加载，数据量有可能大的地方再使用，区别对待。
3.我真的看到hibernate就怕。。。一点都不灵活，复杂的sql语句写不出来，用hql写复杂查询就是找死。。。
4.应该对ckeditor进行美化，既然做了皮肤，ckeditor那难看的灰色也要跟着做相应变动，不然太突兀了，我修改过，这个不复杂。
5.高级搜索这种东西，是一定不能用弹出层来做的，这是用户体验的大忌。


1、你可能没注意这个项目是怎么来的，我选EXT JS就是为了可以不找美工。你说界面不好看，我倒是觉得蛮好看的，审美不同。你说EXT JS很慢，不过在我手机上面访问APDPlat的DEMO，点击的反应都是控制在1秒内的，除了第一次需要下载外。
2、关于懒加载，我就不跟你辩论了，仁者见仁智者见智。
3、你害怕hibernate估计你不喜欢它，可是我喜欢。
4、如果你愿意，你可以共享一下ckeditor的代码，欢迎GITHUB提交代码。
5、高级搜索我倒是不觉得是用户体验大忌，还真没用户跟我提过不要弹出来。
52 楼 macrotea 2013-04-09 17:27
好人一生平安
51 楼 houyujiangjun 2013-04-09 17:20
很早之前就听说过这个平台，功能还是挺多了，作者一个人做的，还是想的挺全面，而且都开源了，数据库也公布了，我觉得挺不错，这种精神就值得学习，肯定有人写的会比这个平台好，但是还有相当多的人写不出来这种东西，开源了，他们就有一个快速学习的途径了。
毕竟大家都是从菜鸟过来的。
我说一下自己的看法，很浅薄，不置可否：
1.extjs挺败笔的，界面是真不好看，我以前也是用extjs和jquery easyUI这种东西，后来自己搞了一套html5+css3的东西，还挺炫，就是不支持ie8下来，没有拿出来现眼的必要了，extjs搞的整个系统一点都不快，动不动就是加载中，毕竟extjs太庞杂了。extjs的局限很大，就不一一细说了。
2.这里面的懒加载，不能直接就这样用，用户体验不好，当数据量不大的时候，应该精简数据格式一次加载，数据量有可能大的地方再使用，区别对待。
3.我真的看到hibernate就怕。。。一点都不灵活，复杂的sql语句写不出来，用hql写复杂查询就是找死。。。
4.应该对ckeditor进行美化，既然做了皮肤，ckeditor那难看的灰色也要跟着做相应变动，不然太突兀了，我修改过，这个不复杂。
5.高级搜索这种东西，是一定不能用弹出层来做的，这是用户体验的大忌。
50 楼 youjianbo_han_87 2013-04-09 16:46
不喜欢extjs
49 楼 fykyx521 2013-04-09 14:27
框架用的好多 我好多只是听过 么用过 有个问题 框架是必须的 还是比较牵强的迎合潮流
48 楼 lection.yu 2013-04-09 10:34
tywo45 写道
看了大家的评论，对于这样单纯的奉献，也遭到各种无情的口水，真是很失望。估计后面的人有个作品也不敢放到iteye里来发布了。

这位说的在理。我感觉大家对开源的东西还是尽量宽容点儿。。
47 楼 lection.yu 2013-04-09 10:34
Leon.Wood 写道
这得什么样的审美才能做出如此绚烂多姿的logo来?

这句吐槽比较在点子上。。哈哈哈
46 楼 winwa 2013-04-09 10:22
zhangjidong2005 写道
winwa 写道
本人自己也开发过这样的，功能比楼主的多，界面更有个性，性能肯定比楼主的要好，但自己没有开源。刚才看了一下楼主的demo，比较慢，估计与用ext有关吧？

你开源试一下，吹牛

  
我为何要开源？对我有什么好处？我不图名，或许还期待着能带来点利润，毕竟是自己辛苦多年的结晶。再说，你所在的公司开发的东西都开源了吗？
45 楼 tywo45 2013-04-09 10:14
看了大家的评论，对于这样单纯的奉献，也遭到各种无情的口水，真是很失望。估计后面的人有个作品也不敢放到iteye里来发布了。
44 楼 Leon.Wood 2013-04-09 10:05
这得什么样的审美才能做出如此绚烂多姿的logo来?
43 楼 kyvin 2013-04-09 09:44
抱着学习的态度去好好看看别人花心力的地方不是很好吗？无谓的话语还是少说点，小心打了自己的嘴巴。
42 楼 zhangjidong2005 2013-04-09 09:05
winwa 写道
本人自己也开发过这样的，功能比楼主的多，界面更有个性，性能肯定比楼主的要好，但自己没有开源。刚才看了一下楼主的demo，比较慢，估计与用ext有关吧？

你开源试一下，吹牛
41 楼 yangshangchuan 2013-04-08 23:17
myangle89 写道
没什么意义的平台，很多公司都有这样的。不过开源值得鼓励，一般的人都不会选择把代码开源，包括我自己。

一般的系统都是为业务而服务，随着需求而定，注定这种系统用来学习是最好的。

万物皆可视为一小块冰山，藏在水下的才是需要关注的那部分。没有一成不变的系统，除非是技术框架！


任何的平台、技术、框架都是有适用场景的，软件工程没有“银弹”。站在不同层次，需要关注的焦点不一样，有没有意义，要看是否切合你的场景，一概而论的没什么意义本身就是武断的看法。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 【PyArrow详解：简介、安装、使用方法全攻略】

    PyArrow库支持Python和驱动其他语言（如C ++和Java）的CLI接口。它旨在简化数据传输和序列化操作，特别是涉及大型数据集合的情况。与其他类似的库相比，PyArrow具有更好的性能和扩展性。

  • Python库 | pyarrow-5.0.0-cp38-cp38-macosx_11_0_arm64.whl

    资源分类：Python库 所属语言：Python 资源全名：pyarrow-5.0.0-cp38-cp38-macosx_11_0_arm64.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059

  • 《Python开发 - Python库》pyarrow安装与使用（矩阵运算库）

    1 pyarrow简介 pyarrow是用于Apache Arrow的Python库。这个库为Arrow c++库提供的功能提供了Python API，以及用于与panda、NumPy和Python生态系统中的其他软件进行箭头集成和互操作性的工具。Apache Arrow是一个用于内存分析的开发平台。它包含一组技术，使大数据系统能够快速处理和移动数据。 Arrow特点 Format： Apache Arrow为平面和层次数据定义了一种与语言无关的柱状内存格式，这种格式的组织用于在现代硬件(如cpu和gpu)

  • Pandas 2 使用指南：PyArrow 功能介绍

    实现的，因此，支持的功能存在于集成了此接口的 pandas API 中。此外，此功能在可用时还使用 PyArrow 的。对于接受参数的 PyArrow 类型，可以将带有这些参数的 PyArrow 类型传递给 ArrowDtype。PyArrow 还提供了 IO 读取功能，已集成到几个 pandas IO 读取器中。的列可以直接由类似于 NumPy 数组的 pyarrow.ChunkedArray。中检索 pyarrow pyarrow.ChunkedArray。返回基于 PyArrow 的数据。

  • Python中的pyarrow入门

    PyArrow是一个Python库，用于在Apache Arrow格式下高效处理大规模数据集。它提供了跨平台、高性能的数据传输和存储解决方案，在数据处理、机器学习和大数据分析等领域有广泛应用。本文将介绍如何使用pyarrow，并展示一些常见操作的示例。

  • 【Python】Pandas 2.0来了～

    Pandas[1]是一个用于处理数据的Python库，在Python开发者中非常流行。相信你已经对他非常熟悉了。随着现在数据量越来越多，pandas的局限性也日渐凸显，在处理大数据时非常恼火，从而选择更加合适的工具，如pyspark等大数据处理框架。而 Pandas 2.0 也是朝着这个方向迈出的一步，接下来我们一起聊一聊Pandas增加和改进的内容。更快和更有效的内存操作本次最大的亮点可谓是他们...

  • 【Python小技巧】一步到位升级到pandas 2.0.0正式版

    工欲善其事必先利其器，大数据、AI时代，目前Python 最新版本是3.11 ，而Pandas也刚刚完成大升级，进入 2.0.0时代。网上关于测试升级后的效果文章很多，这里就不啰嗦了。使用中有情况再补充吧。

  • python如何处理大规模的数据pyarrow

    存储格式：numpy 数组通常保存为二进制文件或文本文件，而 pyarrow 支持更多的存储格式，包括 Apache Arrow 格式、Parquet 格式、Feather 格式等，这些格式可以更高效地存储和传输数据。在处理小到中等规模的数据时，numpy 可能更适合，而在处理大规模数据时，pyarrow 可能更具优势。数据类型：虽然 numpy 支持大多数常见的数值类型，但它没有专门的日期时间类型，也不支持字符串类型，而 pyarrow 支持更丰富的数据类型，包括日期时间类型、字符串类型、二进制类型等。

  • pyarrow库的安装问题（成功解决）

    安装环境：win10+python3.6+anaconda 安装方法： 1.（失败）在pycharm的.py文件中import该库时，如果之前未安装会标红，鼠标放到上面会有提示，点击install package，此时pycharm会帮你安装此库。但是本人在使用这个方法时，安装失败，提示错误AttributeError: 'str' object has no attribute 'name'，上网查阅之后好像是python版本的问题，但是没找到解决方法，遂更换安装方法。 2.（失败）之前在安装lmd

  • Python之pyarrow：pyarrow的简介、安装、使用方法之详细攻略 

    Python之pyarrow：pyarrow的简介、安装、使用方法之详细攻略 目录 pyarrow的简介 1、项目的主要组成部分包括: 2、Arrow特点 pyarrow的安装 pyarrow的使用方法 pyarrow的简介 用于Apache Arrow的Python库。这个库为Arrow c++库提供的功能提供了Python API，以及用于与panda、NumPy和Python生态系统中的其他软件进行箭头集成和互操作性的工具。Ap...

  • 【大数据】Pyarrow简单使用

    - Arrow是一个Python库，为创建，操作，格式化和转换日期，时间和时间戳提供了一种明智的，人性化的方法。 它实现和更新日期时间类型，填补功能上的空白，并提供支持许多常见创建场景的智能模块API。 # 二、使用小栗子 - 离线测试时，有时为了更快使用dataloader对测试集预测，而且df较大，可以使用上面介绍的`PyArrow`进行对df分块读入然后使用dataloader - `pa.Table.from_pandas(all_predcit)`可以将pd.df格式的`all_predict`转

  • pandas parquet文件读取pyarrow、feather文件保存与读取；requests 或wget下载图片文件

    安装 fastparquet哭，需要安装python-snappy ,一直安装错误，所以使用了pyarrow pip install pyarrow 参考：https://arrow.apache.org/docs/python/ import glob import pandas as pd import pyarrow.parquet as pq aaaaa = glob.glob(r'C:\Users\lo理\oss数据\*') kkk = [] for i in aaaaa: print

  • Python : Arrow、Pyarrow库、以及与Julia互读

    test.csv 样例： 一、从csv =>table=>生成arrow文件 import pyarrow as pa from pyarrow import csv csv_path = 'C:\\Users\\songroom\\Desktop\\test.csv' table = csv.read_csv(csv_path) #df = table.to_pandas() #table = pa.Table.from_pandas(df) path = 'C:\\Users\\songr

  • python语言arrows用法_如何在Python中使用pyarrow读取parquet文件

    我已经从数据库中创建了一个具有三列(id、author、title)的parquet文件，并希望使用条件(title='learnpython')读取拼花板文件。下面提到的是我用于这个POC的python代码。在import pyarrow as paimport pyarrow.parquet as pqimport pandas as pdimport pyodbcdef write_to_p...

  • python时间模块哪个好arrow模块_Python使用arrow库优雅地处理时间数据详解

    前言大家应该都知道在很多时候我们不得不和时间打交道，但在Python标准库中处理时间的模块其实设计的不是很友好，为什么我会这么说？因为我相信大部分人几乎每次在处理时间数据时一而再，再而三的去查文档，比如时间和文本格式互转，时间增减等看起来非常基本的操作，在Python中处理起来并不简单。最要命的是，在Python标准库中居然有两个模块处理时间，一个叫time，另外一个叫datetime，里面提供了...

  • python中对arrow库的总结

    Arrow是一个Python库，为创建，操作，格式化和转换日期，时间和时间戳提供了一种明智的，人性化的方法。 它实现和更新日期时间类型，填补功能上的空白，并提供支持许多常见创建场景的智能模块API。 简而言之，它可以帮助您使用更少的进口和更少的代码来处理日期和时间。 安装 pip install arrow 简单开始 >>> import arrow >...

  • 华为ensp模拟器如何使用VMware虚拟机桥接虚拟网卡实现上网（保姆级教程）

    1、你需要电脑已经成功安装VM虚拟机，并且在虚拟机中安装了Win系统，我安装的事Win7，我就以WIN7举例，保证你的虚拟机可以登录外网。我对ensp的小云朵真是又爱又恨，爱是因为它可以桥接虚拟网卡，对实验的验证性得到了进一步的升华，恨是因为不会设置。连接pc的G1/0/1的为内网口，ip随便配，注意的是分给内网pc的dns一定要配8.8.8.8。实验场景非常简单，防火墙的nat和路由器的nat，都可以通过云彩桥接到虚拟机的VM8网卡。G1/0/0为外网口，IP需要与VM8桥接的地址在一个网段。

  • win10系统怎么创建虚拟网卡？

    由于工作原因，下午需要重新在物理机上创建块虚拟网卡。因为不熟悉这一块，就百度了下，但是到选择“厂商”和“型号”这一步，却找不到“Microsoft”对应的型号，经过一番查询才知道win10里“厂商”对应的“型号”发生了变化。下面把具体步骤写下，希望可以帮助向我一样不懂如何创建虚拟网卡的小白。 在win10系统中按下快捷键 win+x 打开设备管理器，如下图     在win10...

  • 手把手带你安装ENSP，以及解决安装中的常见问题

    ENSP安装所需要准备的软件 ENSP Wireshark WinPcap VirtualBox ps：如果你需要安装包，可以私我要~ 需要准备ENSP软件和三个环境，ENSP作为模拟器主体，需要对应版本的VirtualBox和WinPcap提供虚拟环境，wireshark用于实验当中测试抓取数据包使用。 ENSP安装过程 首先需要安装前三个环境，安装时只需要无脑下一步选择好对应的安装位置即可。 随后安装ENSP（如下图所示） ...

  • 华为ensp设置虚拟网络

    主题：华为ensp设置虚拟网络 ** 前言： 为kali模拟网络攻击进行准备工作，大家懂得操作后请勿任性，坚持底线，网络安全需人人维护！ ** ** 正题： 话不多说，咋开始吧！ 1、打开ensp 2、进行操作 a、先做出这个拓扑结构 router的位置 lsw的位置 pc的位置 连接线的位置 b、开启所有设备，绿色箭头（如果没开启成功，借鉴我上篇博客（https://blog.csdn.net/qq_48773627/article/details/113470434），或者自寻网站） c、进

Global site tag (gtag.js) - Google Analytics