`

30天了解30种技术系列---(16)可视化爬虫工具---Portia

 
阅读更多

     

      Portia是scrapyhub开源的一款可视化的爬虫规则编写工具,提供可视化的Web页面,你只需要通过点击标注页面上你需要抽取的数据,不需要任何编程知识即可完成规则的开发。(动态网页需要自己编写JS解析器)。

 

      Portia的项目地址为:https://github.com/scrapinghub/portia

      安装方式如下:

       

git clone https://github.com/scrapinghub/portia

 

     在docker的环境下构建

docker build -t portia .

    启动,然后可以通过9001 端口进行访问,

docker run -i -t --rm
-v <PROJECT_FOLDER>/data:/app/slyd/data:rw \
-p 9001:9001 \
--name portia \
portia

访问地址:
http://localhost:9001/static/index.html

    

    效果如下:
   

 
  


 


 

       

我们可以将数据写入mysql 等只需要进行简单的,配置,跟多的内容大家可以去详细了解

 

 大家如果对于哪个技术比较感兴趣,可以私信,我会有重点的在后续文章进行展开。

 

 更多精彩请关注微信 : 图灵搜索

 大家也可以使用中国第一个为程序员打造的搜索引擎:https://www.tulingss.com 进行查看。

  • 大小: 159.8 KB
  • 大小: 61.6 KB
  • 大小: 89.6 KB
  • 大小: 73.2 KB
3
2
分享到:
评论

相关推荐

    Python-portiaScrapy可视化爬取

    总结来说,Python-portiaScrapy可视化爬取是一种将强大的Scrapy框架与直观的Portia工具相结合的解决方案,旨在简化Web爬虫的开发过程,提高效率,同时保持Scrapy原有的灵活性和扩展性。无论你是初学者还是经验丰富的...

    Python 爬虫-数据可视化

    是一款工具,它允许用户通过可视化的方式抓取网站数据,无需任何编程知识。使用Portia时,您可以对网页进行注解,标识出希望提取的数据内容,然后Portia将根据这些注解理解并学会如何从类似的页面中抓取数据

    Portia中文图文教程

    Portia是一款可视化的Web爬虫工具,由Scrapinghub开发并维护。通过图形界面,用户可以轻松地定义爬虫逻辑,提取网页上的数据,而无需编写复杂的代码。这对于非编程背景的用户来说非常友好,同时也极大地提高了爬虫...

    Python网络爬虫实习报告-python实习报告.docx

    网络爬虫技术在当前信息化社会中扮演着重要的角色,无论是搜索引擎优化、大数据分析还是市场调研等领域,都需要依赖高效稳定的爬虫工具来获取所需的数据。随着Python语言的流行与易用性,越来越多的开发者选择使用...

    Python网络爬虫实习报告.pdf

    Python网络爬虫是一种用于自动化获取网页内容的技术,广泛应用于数据挖掘、信息监控、自动化测试等领域。在本实习报告中,我们将深入探讨Python网络爬虫的相关知识,并通过实例演示如何使用Python爬虫框架来爬取豆瓣...

    Python网络爬虫实习报告-python实习报告.doc

    网络爬虫作为一种自动化获取网页信息的工具,对于数据挖掘、市场分析、学术研究等领域具有重要意义。随着互联网数据的爆炸性增长,掌握网络爬虫技术能够帮助我们高效地处理大量数据,为决策提供依据。在Python中,...

    Python网络爬虫实习报告-python实习报告范本.docx

    3. Portia:可视化爬虫框架,适合初学者和无编程经验者。 4. newspaper:专注于新闻和文章的提取和分析,方便进行新闻数据的处理。 5. Python-goose:专门用于提取文章的主要内容、图片和元信息,适用于新闻聚合和...

    Python 爬虫的工具列表大全

    - **简介**:基于Scrapy的可视化爬虫工具。 - **用途**:适用于需要快速构建爬虫项目的场景。 **5. RestKit** - **简介**:一个用于访问HTTP资源的工具包。 - **用途**:适用于需要简化HTTP请求处理的项目。 **6. ...

    Python库 | portiapy-1.0.0-py3-none-any.whl

    2. 自动化工具:可能包含自动化脚本或者任务调度器,用于自动化日常开发或运维工作。 3. 机器学习:如果涉及AI,PortiaPy可能提供了机器学习模型的训练和预测接口。 4. 网络爬虫:考虑到Python在爬虫领域的广泛应用...

    Python网络爬虫实习报告python实习报告.docx

    网络爬虫作为一种自动化的数据采集工具,在数据挖掘、市场分析、竞争情报收集等领域发挥着重要作用。 - **Python在爬虫开发中的优势**: Python语言因其简洁的语法、丰富的第三方库支持而成为开发网络爬虫的首选语言...

    Python网络爬虫实习报告.docx

    - **Portia**:提供可视化界面,使得非程序员也能进行网页抓取。 - **Newspaper**:专门用于新闻和文章内容的提取与分析。 - **Python-Goose**:主要用于提取文章主要内容、图片、视频和元数据。 5. **数据爬取...

    实用文档之Python网络爬虫实习报告-python实习报告.docx

    3. Portia:可视化爬虫,适合没有编程经验的用户,通过拖拽方式定义爬取规则。 4. newspaper:专注于新闻和文章的爬取及内容分析,方便进行文本挖掘。 5. Python-goose:专用于提取文章内容,包括图片、视频、元数据...

    python爬虫的一些常用第三方库下载

    它通过可视化界面帮助用户定义爬虫逻辑,降低了爬虫开发门槛。 - **安装命令**:`pip install portia-spider` #### 13. pyspider - **简介**:pyspider 是一个功能齐全的分布式爬虫系统。它支持JavaScript渲染页面...

    Python网络爬虫实习报告材料

    * Portia 框架:Portia 框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架。 * Newspaper 框架:Newspaper 框架是一个用来提取新闻、文章以及内容分析的 Python 爬虫框架。 * Python-goose 框架:...

Global site tag (gtag.js) - Google Analytics