`
uule
  • 浏览: 6323886 次
  • 性别: Icon_minigender_1
  • 来自: 一片神奇的土地
社区版块
存档分类
最新评论

【爬虫解析3】:JSON

 
阅读更多
import requests
import json
'''
json.loads(json_str) json字符串转换成字典
json.dumps(dict) 字典转换成json字符串 

'''
# 这是一个ajax发起的get请求,获取一个json对象
r = requests.get("https://m.douban.com/rexxar/api/v2/subject_collection/movie_showing/items?os=ios&for_mobile=1&start=0&count=18&loc_id=108288&_=0")
json_response = r.content.decode()  # 获取r的文本 就是一个json字符串

# 将json字符串转换成dic字典对象
dict_json = json.loads(json_response)
print(type(dict_json))

# 将字典转换成json字符串
str_json = json.dumps( dict_json )
print(type(str_json))

# 字典转换成json 存入本地文件
with open('./a.txt','w') as f:
    # 设置不转换成ascii  json字符串首缩进
    f.write( json.dumps( dict_json,ensure_ascii=False,indent=2 ) )

 

json_dict = json.loads(json_str)

for item in json_dict['favourite']['bkmrk']:
    guid = json_dict['favourite']['bkmrk'][item]['guid']
    lcate = json_dict['favourite']['bkmrk'][item]['lcate']
    print '%s:%s' % (lcate,guid)

 

 

。。

分享到:
评论

相关推荐

    解析Python网络爬虫:核心技术、Scrapy框架、分布式爬虫全套教学资料

    本套教学资料深入解析了Python爬虫的核心技术、Scrapy框架以及分布式爬虫的实现,旨在帮助学习者掌握这一领域的核心技能。 一、Python爬虫核心技术 Python语言因其简洁明了的语法和丰富的第三方库而成为网络爬虫...

    Python爬虫入门教程:超级简单的Python爬虫教程.zip

    总的来说,这本“Python爬虫入门教程:超级简单的Python爬虫教程”将涵盖Python基础知识、HTTP请求、HTML解析、反爬虫策略和数据存储等多个方面,旨在帮助初学者快速掌握Python爬虫的基本技能。通过学习,你不仅可以...

    爬虫解析_jsonpath的基本使用和爬取淘票票的城市.zip

    常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-...

    解析Python网络爬虫_复习大纲.docx

    数据解析是爬虫的核心步骤,包括HTML解析、XML解析、JSON解析等。 第6章:并发下载 并发下载是爬虫性能优化的关键,包括多线程、多进程、协程等技术。 第7章:抓取动态内容 爬虫可以抓取动态内容,包括Ajax、...

    Python爬虫数据抽取(一):解析库json及jsonpath pickle

    JSON数据概述及解析3.1 JSON数据格式3.2 解析库json3.2.1 json序列化3.2.2 json反序列化4. jsonpath4.1 使用4.2 使用示例5. Python专用JSON解析库pickle 1. 数据抽取的概念 原创文章 31获赞 492访问量 3万+ ...

    网络爬虫中Json数据的解析.pdf

    网络爬虫中Json数据的解析.pdf网络爬虫中Json数据的解析.pdf网络爬虫中Json数据的解析.pdf网络爬虫中Json数据的解析.pdf网络爬虫中Json数据的解析.pdf网络爬虫中Json数据的解析.pdf网络爬虫中Json数据的解析.pdf网络...

    scrapy京东爬虫,保存到json.zip

    在“scrapy京东爬虫,保存到json”这个项目中,我们可以了解到如何利用Scrapy来爬取京东网站上的数据,并将结果保存为JSON格式。以下是关于这个项目的一些关键知识点和实现细节。 1. **Scrapy框架**: Scrapy是基于...

    c#抓取京东价格并解析json

    本教程主要聚焦于使用C#编程语言来抓取京东网站上的商品价格,并对抓取到的数据进行JSON格式的解析。这对于那些想要开发自己的京东价格监控系统或者进行电商数据分析的开发者来说非常有价值。 首先,我们需要了解C#...

    Java爬虫技术分享:CSDN文章批量抓取方法.zip

    4. **数据处理与存储**:将抓取到的信息按照预设格式(如JSON、CSV)存储到本地文件或数据库中,便于后期分析和检索。 在提供的压缩包文件中,可能包含以下内容: 1. **源代码**:Java项目的源代码,包括了网络...

    电商爬虫系统:京东,当当,一号店,国美爬虫(代理使用);论坛、新闻、豆瓣爬虫.zip

    常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-...

    网页解析器,用于网络爬虫解析页面, 不懂网页解析也能写爬虫.zip

    常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-...

    JSON数据交换格式练习_爬虫练习_JSON数据交换格式练习.py_

    它基于JavaScript的一个子集,但其实它是语言无关的,有独立的规范,并且可以被任何支持JSON的编程语言解析和生成。在这个“JSON数据交换格式练习”中,我们将会探讨如何在Python中处理JSON数据,特别是与爬虫相关的...

    JsonParse:Json数据的解析

    例如,你可以通过以下方式创建和解析JSON对象: ```java import org.json.*; JSONObject obj = new JSONObject(); obj.put("name", "John"); obj.put("age", 30); System.out.println(obj.toString()); String ...

    各种爬虫:爱企查爬虫,网上114企业信息爬虫,抖音视频爬虫,wipo爬虫, 专利信息爬虫(patentscope).zip

    常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-...

    《零基础:21天搞定Python分布爬虫》课件

    8. **数据存储**:学习如何将爬取的数据存储为CSV、JSON格式,或者存入数据库如MySQL、MongoDB等。 9. **多线程与异步IO**:理解Python的GIL(全局解释器锁)和多线程、多进程的使用,以及如何利用异步库如asyncio...

    猫影视(TVBox系列、FongMi的影视等)自定义爬虫开发调试项目.zip

    常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-...

    jsonfilter:JSON空字符串过滤器

    2. 解析JSON:首先,需要将JSON字符串解析成`JSONObject`或`JSONArray`,可以使用流行的JSON库如Jackson、Gson或org.json。 3. 应用过滤器:调用`jsonfilter`提供的方法,传入解析后的JSON对象或数组,执行过滤操作...

    爬虫解析_xpath基本应用(解析本地文件和服务器响应).zip

    常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-...

    Python关于爬虫(主要)及一些Python基础的学习.rar

    3. 数据解析:获取到的网页数据需要进行解析和处理,因此需要了解一些常用的数据解析库,如BeautifulSoup、正则表达式等。 4. 数据存储:爬取到的数据需要进行存储,一般会使用文件或者数据库进行存储,需要学习...

Global site tag (gtag.js) - Google Analytics