`

python获取网页有用信息(密码字典)

 
阅读更多
import urllib.request
import os
from pyquery import PyQuery as pq

def jilu (url2, fname):
    data = urllib.request.urlopen(url2).read()
    data = data.decode("gb2312")
    d = pq(data)
    a = d("#bar_nlist").find("li").children()
    for c in a:
        print(d(c).text())
    if os.path.exists(fname):
        # f = open() 保存信息

url = "http://www.taohaoba.com/beijing/?push=map"
data = urllib.request.urlopen(url).read()
data = data.decode("gb2312")
k = {}      # 创建字典
d = pq(data)
for i in d(".city").find("a"):
    k[d(i).text()] = d(i).attr("href")
url2 = k["长春"]
# 中国移动 /?push=n_mobile
# 中国联通 /?push=n_unicom
# 中国电信 /?push=n_telecom
jilu(url2+"/?push=n_mobile", "长春.txt")
jilu(url2+"/?push=n_unicom", "长春.txt")
jilu(url2+"/?push=n_telecom", "长春.txt")

 以下是获取到的数据:

1340430
1340431
1340432
1340433
1340435
1340436
1340437
1340438
1340439
1340470
1340471
1340472
1340473
1340474
1340475
1340476
1340477
1340478
1340479
1350080
1350081
1350082
1350085
1350086
1350088
1350089
1350430
1350431
1350432
1350433
1350439
1350440
1350441
1350442
1350443
1350445
1350446
1350447
1350448
1350449
1350470
1350479
1351430
1351431
1351440
1351441
1351446
1351447
1351448
1351449
1357860
1357861
1357862
1357863
1357864
1357865
1357866
1357867
1357868
1357869
1357870
1357871
1357872
1357873
1357874
1357875
1357876
1357877
1357878
1357879
1357880
1357881
1357882
1357883
1357884
1357885
1357886
1357887
1357888
1357889
1357890
1357891
1357892
1357893
1357894
1357895
1357896
1357897
1357898
1357899
1359600
1359601
1359602
1359603
1359604
1359605
1359606
1359607
1359608
1359609
1359610
1359611
1359612
1359613
1359614
1359615
1359616
1359617
1359618
1359619
1359640
1359641
1359642
1359643
1359644
1359645
1359646
1359647
1359648
1359649
1360430
1360431
1360432
1360433
1360436
1360439
1360440
1360441
1360442
1360443
1360444
1361070
1361071
1361072
1361073
1361074
1361078
1361079
1361430
1361431
1361440
1361441
1361447
1362078
1362079
1362430
1362431
1362440
1362441
1362446
1362447
1362449
1363050
1363051
1363052
1363053
1363054
1363055
1363056
1363057
1363058
1363059
1363430
1363431
1363440
1363441
1364430
1364431
1364440
1364441
1365430
1365431
1365436
1365437
1365439
1365440
1365441
1365447
1366430
1366431
1366433
1366440
1366441
1366443
1367430
1367431
1368980
1368981
1368982
1368983
1368984
1368985
1369430
1369431
1370436
1374044
1374300
1374301
1374302
1374303
1374304
1374306
1374307
1374308
1374309
1374310
1374311
1374312
1374313
1374314
1374315
1374316
1374317
1374318
1374319
1374332
1374400
1374401
1374402
1374403
1374404
1374405
1374406
1374407
1374408
1374409
1374410
1374411
1374412
1374413
1374414
1374415
1374416
1374417
1374418
1374419
1374480
1374481
1374482
1374483
1374484
1374485
1374486
1374487
1374488
1374489
1374490
1374491
1374492
1374493
1374494
1374495
1374496
1374497
1374498
1374499
1375600
1375601
1375602
1375603
1375604
1375605
1375606
1375607
1375608
1375609
1375610
1375611
1375612
1375613
1375614
1375615
1375616
1375617
1375618
1375619
1375620
1375621
1375622
1375623
1375624
1375625
1375626
1375627
1375628
1375629
1375630
1375631
1375632
1375633
1375634
1375635
1375636
1375637
1375638
1375639
1375640
1375641
1375642
1375643
1375644
1375645
1375646
1375647
1375648
1375649
1375650
1375651
1375652
1375653
1375654
1375655
1375656
1375657
1375658
1375659
1375660
1375661
1375662
1375663
1375664
1375665
1375666
1375667
1375668
1375669
1375680
1375681
1375682
1375683
1375684
1375685
1375686
1375687
1375688
1375689
1375690
1375691
1375692
1375693
1375694
1375695
1375696
1375697
1375698
1375699
1380043
1380430
1380431
1380432
1380433
1380435
1380437
1380439
1380446
1384300
1384301
1384302
1384303
1384304
1384305
1384306
1384307
1384308
1384309
1384310
1384311
1384312
1384313
1384314
1384315
1384316
1384317
1384318
1384319
1384400
1384401
1384402
1384403
1384404
1384405
1384406
1384407
1384408
1384409
1384410
1384411
1384412
1384413
1384414
1384415
1384416
1384417
1384418
1384419
1384480
1384481
1384482
1384483
1384484
1384485
1384486
1384487
1384488
1384489
1384490
1384491
1384492
1384493
1384494
1384495
1384496
1384497
1384498
1384499
1389475
1389476
1389477
1389478
1389479
1389480
1389481
1389482
1389483
1389484
1389485
1389486
1389487
1389488
1389489
1390430
1390431
1390432
1390433
1390439
1394300
1394301
1394302
1394303
1394304
1394305
1394306
1394307
1394308
1394309
1394310
1394311
1394312
1394313
1394315
1394316
1394317
1394318
1394319
1394400
1394401
1394402
1394403
1394404
1394405
1394406
1394407
1394408
1394409
1394410
1394411
1394412
1394413
1394414
1394415
1394416
1394417
1394418
1394419
1394480
1394481
1394482
1394483
1394484
1394485
1394486
1394487
1394488
1394489
1394490
1394491
1394492
1394493
1394494
1394495
1394496
1394497
1394498
1394499
1500430
1500431
1504300
1504301
1504302
1504303
1504304
1504305
1504306
1504307
1504308
1504309
1504310
1504311
1504312
1504313
1504314
1504315
1504316
1504317
1504318
1504319
1504400
1504401
1504402
1504403
1504404
1504405
1504406
1504407
1504408
1504409
1504410
1504411
1504412
1504413
1504414
1504415
1504416
1504417
1504418
1504419
1504430
1504431
1504432
1504433
1504434
1504435
1504436
1504437
1504438
1504439
1510430
1510431
1510440
1510441
1510442
1510443
1510444
1510445
1510446
1510447
1510448
1510449
1514300
1514301
1514302
1514303
1514304
1514305
1514306
1514307
1514308
1514309
1514310
1514311
1514312
1514313
1514314
1514315
1514316
1514317
1514318
1514319
1514400
1514401
1514402
1514403
1514404
1514405
1514406
1514407
1514408
1514409
1514410
1514411
1514412
1514413
1514414
1514415
1514416
1514417
1514418
1514419
1516430
1516431
1516432
1516433
1516434
1516435
1516436
1516437
1516438
1516439
1520430
1520431
1524310
1524311
1524312
1524313
1524314
1524315
1524316
1524317
1524318
1524319
1571430
1571431
1571435
1571436
1571439
1571440
1571441
1580430
1580431
1580440
1580441
1580442
1580443
1580444
1580445
1580446
1580447
1580448
1580449
1584300
1584301
1584302
1584303
1584304
1584305
1584306
1584307
1584308
1584309
1584310
1584311
1584312
1584313
1584314
1584315
1584316
1584317
1584318
1584319
1584400
1584401
1584402
1584403
1584404
1584405
1584406
1584407
1584408
1584409
1584410
1584411
1584412
1584413
1584414
1584415
1584416
1584417
1584418
1584419
1590430
1590431
1590440
1590441
1590442
1590443
1590444
1590445
1590446
1590447
1590448
1590449
1594300
1594301
1594302
1594303
1594304
1594305
1594306
1594307
1594308
1594309
1594310
1594311
1594312
1594313
1594314
1594315
1594316
1594317
1594318
1594319
1594400
1594401
1594402
1594403
1594404
1594405
1594406
1594407
1594408
1594409
1594410
1594411
1594412
1594413
1594414
1594415
1594416
1594417
1594418
1594419
1594780
1594781
1594782
1594783
1594784
1594785
1594786
1594787
1594788
1594789
1594800
1594801
1594802
1594803
1594804
1594805
1594806
1594807
1594808
1594809
1594810
1594811
1594812
1594813
1594814
1594815
1594816
1594817
1594818
1594819
1594820
1594821
1594822
1594823
1594824
1594825
1594826
1594827
1594828
1594829
1594830
1594831
1594832
1594833
1594834
1594835
1594836
1594837
1594838
1594839
1594870
1594871
1594872
1594873
1594874
1594875
1594876
1594877
1594878
1594879
1598100
1598101
1598102
1598103
1598104
1598105
1598106
1598107
1598108
1598109
1820430
1820431
1824310
1824311
1824312
1824313
1824314
1824315
1824316
1824317
1824318
1824319
1870430
1870431
1870440
1870441
1870442
1870443
1870444
1870445
1870446
1870447
1870448
1870449
1874300
1874301
1874302
1874303
1874304
1874305
1874306
1874307
1874308
1874309
1874310
1874311
1874312
1874313
1874314
1874315
1874316
1874317
1874318
1874319
1874400
1874401
1874402
1874403
1874404
1874405
1874406
1874407
1874408
1874409
1874410
1874411
1874412
1874413
1874414
1874415
1874416
1874417
1874418
1874419
1880430
1880431
1884300
1884301
1884302
1884303
1884304
1884305
1884306
1884307
1884308
1884309
1884310
1884311
1884312
1884313
1884314
1884315
1884316
1884317
1884318
1884319
1300900
1300901
1300910
1300911
1300912
1300913
1300914
1301091
1301910
1301911
1301912
1301913
1301920
1301921
1301922
1302900
1302901
1302910
1302911
1302912
1302913
1302914
1303900
1303901
1303904
1303910
1303911
1303912
1303913
1303914
1303920
1303921
1303922
1303930
1303931
1303932
1303934
1304136
1304137
1304138
1304139
1304330
1304331
1304332
1304333
1304334
1304430
1304431
1306900
1306901
1306904
1306910
1306911
1306912
1306913
1306914
1306920
1306921
1306924
1307430
1307431
1307432
1307433
1307434
1307435
1307436
1307437
1307438
1307439
1308001
1308002
1308003
1308004
1308680
1308681
1308682
1308683
1308684
1308685
1308686
1308687
1308688
1308689
1308910
1308911
1308912
1308913
1308914
1308940
1308941
1308942
1310430
1310431
1310440
1310441
1310442
1310443
1310444
1310445
1310446
1310447
1310448
1310449
1312570
1312574
1312580
1312581
1312582
1313430
1313431
1313443
1313445
1313446
1313447
1313448
1313449
1314430
1314431
1314764
1314765
1314766
1314770
1314771
1315430
1315431
1315435
1315436
1315437
1315439
1315950
1315951
1315952
1315953
1315956
1315960
1315961
1315964
1315968
1315974
1315975
1315977
1316680
1316681
1316682
1316683
1316684
1316685
1316686
1316687
1316688
1316689
1317430
1317431
1317433
1317434
1317435
1317436
1317437
1317438
1317439
1317440
1317441
1317442
1317443
1317444
1317445
1317446
1317447
1317448
1317449
1317900
1317901
1317904
1317910
1317911
1317912
1317913
1318074
1318079
1318080
1318081
1318082
1318083
1318084
1318085
1318086
1318087
1318088
1318089
1318094
1318099
1319430
1319431
1319435
1319436
1319437
1319438
1319439
1319600
1319601
1319602
1319603
1319604
1320430
1320431
1321430
1321431
1321440
1321441
1321442
1321443
1321446
1321447
1321448
1321449
1322430
1322431
1323430
1323431
1323440
1323441
1323442
1323443
1323444
1323445
1323446
1323447
1323448
1323449
1324426
1324427
1324430
1324431
1324440
1324441
1324442
1324443
1325170
1325171
1325172
1325173
1325174
1325175
1325180
1325181
1325260
1325261
1325262
1325263
1325264
1325884
1325888
1327430
1327431
1327810
1329430
1329431
1329888
1452190
1452191
1452192
1452193
1452194
1452195
1452196
1452197
1452198
1452199
1470430
1470431
1474310
1474311
1474315
1474316
1474317
1474319
1550000
1550001
1550002
1550003
1550004
1550005
1550006
1550007
1550008
1550009
1550430
1550431
1550440
1550441
1550442
1550443
1550444
1550445
1550446
1550447
1550448
1550449
1550600
1550601
1550605
1552663
1552664
1552665
1552666
1552667
1552680
1552681
1552682
1552683
1552684
1552685
1552686
1552687
1552688
1552689
1554300
1554301
1554309
1554310
1554311
1554312
1554313
1554314
1554315
1554316
1554317
1554318
1554319
1554327
1554328
1554340
1554341
1554345
1554349
1554350
1554351
1554352
1554353
1554354
1554355
1554356
1554357
1554358
1554359
1554360
1554361
1554362
1554363
1554364
1554365
1554366
1554367
1554368
1554369
1554370
1554371
1554372
1554373
1554374
1554375
1554376
1554377
1554378
1554379
1556700
1556701
1556702
1556703
1556704
1556705
1556706
1556707
1556708
1556709
1556710
1556711
1556712
1556713
1556714
1556715
1556716
1556717
1556718
1556719
1556770
1556771
1556772
1556773
1556774
1556775
1556776
1556777
1556870
1556871
1556872
1556873
1556874
1556875
1556876
1556877
1556878
1556879
1556880
1556881
1556882
1556883
1556884
1556885
1556886
1556887
1556888
1556889
1556890
1556891
1556892
1556893
1556894
1556895
1556896
1556897
1556898
1556899
1558410
1558411
1558412
1558413
1558414
1558415
1558416
1558417
1558418
1558419
1558420
1558421
1558422
1558423
1558424
1558425
1558426
1558427
1558428
1558429
1558430
1558431
1558432
1558433
1558434
1558435
1558436
1558437
1558438
1558439
1558440
1558441
1558442
1558443
1558444
1558445
1558446
1558447
1558448
1558449
1559000
1559001
1559002
1559003
1559004
1559005
1559050
1559051
1559052
1559053
1559054
1559055
1559056
1559057
1559058
1559059
1559066
1559067
1559068
1560430
1560431
1560440
1560441
1560442
1560443
1560444
1560445
1560446
1560447
1560448
1560449
1564300
1564301
1564302
1564303
1564304
1564305
1564306
1564307
1564308
1564309
1564310
1564311
1564312
1564313
1564314
1564315
1564316
1564317
1564318
1564319
1564349
1564360
1564361
1564362
1564363
1564364
1564370
1564371
1564372
1564373
1564374
1564375
1564389
1566220
1566221
1566222
1566223
1566224
1566240
1566241
1566242
1566243
1566244
1566245
1566246
1566247
1566248
1566249
1569430
1569431
1569950
1569955
1569956
1569957
1860430
1860431
1860440
1860441
1860442
1860443
1860444
1860445
1860446
1864306
1864307
1864310
1864311
1864312
1864313
1864314
1864315
1864316
1864317
1864318
1864319
1868634
1868635
1868636
1868637
1868638
1868639
1868650
1868651
1868652
1868653
1868654
1868660
1868661
1868662
1868663
1868664
1868665
1868666
1868667
1868668
1868669
1330430
1330431
1330432
1330433
1330439
1331430
1331431
1331439
1332140
1332141
1332154
1332158
1332430
1332431
1332446
1332447
1333154
1333158
1333164
1333165
1333166
1333167
1333168
1333169
1333174
1333175
1333176
1333177
1334140
1334141
1334142
1334143
1334144
1334145
1334146
1334147
1334148
1334149
1334157
1334158
1334159
1335150
1335154
1335310
1335311
1335314
1335319
1335320
1335324
1335326
1335327
1335329
1335430
1335431
1336430
1336431
1336446
1336447
1336448
1336450
1336451
1336454
1336460
1336461
1336463
1336464
1336468
1336469
1338430
1338431
1338447
1338448
1338449
1339430
1339431
1339447
1339448
1339449
1530430
1530431
1530440
1530441
1530442
1530443
1530444
1530445
1530446
1530447
1530448
1532630
1532631
1532640
1532641
1532642
1533060
1533061
1533110
1534430
1534431
1534436
1534437
1535450
1535451
1535452
1535470
1535471
1535472
1535473
1535474
1535475
1535476
1535477
1535478
1535479
1890430
1890431
1890440
1890441
1894300
1894301
1894302
1894303
1894304
1894305
1894306
1894307
1894308
1894309
1894310
1894311
1894312
1894313
1894314
1894315
1894316
1894317
1894318
1894319
1894360
1894361
1894362
1894363
1894364
1894365
1894366
1894367
1894368
1894369
1894390
1894391
1894392
1894393
1894394
1894395
1894396
1894397
1894398
1894399
1894670
1894671
1894672
1894673
1894674
1894675
1894676
1894677
1894678
1894679
分享到:
评论

相关推荐

    Python从ZabbixAPI获取信息及实现Zabbix-API 监控的方法

    本文将详细介绍如何使用Python通过Zabbix API获取信息以及实现监控。 首先,我们需要了解Zabbix API的基本概念。Zabbix API是Zabbix提供的一个接口,它允许外部程序通过JSON-RPC协议与Zabbix服务器进行交互,进行如...

    用Python将mysql数据导出成json的方法

    4. **获取字段信息**: 从游标对象的`description`属性中获取列名(字段名)。 5. **构建JSON数据**: 遍历查询结果,将每一行数据转化为字典结构,其中键为字段名,值为对应的查询结果。然后,使用`json.dumps`函数将...

    python网络爬虫开发实战

    你需要了解Python的基础语法,包括变量、数据类型(如列表、字典)、控制结构(if-else、for、while)以及函数定义和调用。 二、网络爬虫原理 网络爬虫是一种自动遍历互联网的程序,它通过HTTP/HTTPS协议与服务器...

    Python-pycookiecheat从浏览器的已验证会话中获取Cookie以便在Python脚本中使用

    总之,`pycookiecheat`为Python开发者提供了一种简单的方法,从已验证的浏览器会话中获取Cookie,这对于自动化测试、爬虫项目或是任何需要模拟用户登录状态的应用来说非常有用。在使用时,记得考虑到隐私和安全性,...

    《流畅的Python》(第2版)学习笔记.zip

    3. **上下文管理器**:Python的上下文管理器通过`with`语句提供了一种安全的资源获取和释放方式。这在处理文件操作、数据库连接等需要资源清理的情况中非常有用。 4. **元类(Metaclass)**:元类是Python中用于...

    python25中stpf

    根据给定的文件信息,我们可以深入探讨Python 2.5中的SFTP(Secure File Transfer Protocol)功能及其在脚本中的应用。SFTP是用于在网络上安全地传输文件的一种协议,它是SSH(Secure Shell)协议的一部分,提供了...

    python编写搜索百度百科软件

    这个软件是在Linux环境下利用Python 2.6版本实现的,它展示了如何利用网络爬虫技术来抓取和处理网页数据,特别是从百度百科这类信息丰富的网站获取信息。 首先,我们需要了解Python 2.6的基础知识。虽然Python 3...

    python3.6软件安装包_自带pip

    4. **类型注解**:Python3.6引入了类型注解,这是一种非强制性的功能,可以为函数参数和返回值添加类型信息,有助于代码的静态检查和提高可维护性。 5. **新的内置函数**:Python3.6增加了一些新的内置函数,如`...

    python字典排序的方法

    此外,Python字典提供了其他一些有用的方法,比如`get()`用于安全地获取字典中的值,即使键不存在;`setdefault()`则可以在键不存在时设置默认值。在处理大规模数据时,`pickle`模块可以用来序列化和反序列化字典,...

    mysql-connector-python

    7. **元数据查询**:这个库还提供了获取数据库元数据的方法,例如查询表结构、索引信息和列信息。这在编写自动化脚本或工具时非常实用。 8. **兼容性**:MySQL Connector/Python兼容多种Python版本,包括Python 2.7...

    python3实现读取chrome浏览器cookie

    1. **无需用户密码**:直接读取浏览器Cookies即可获得用户的身份信息,避免了因密码泄露导致的安全问题。 2. **保持Session一致**:某些网站登录后会更新Session,这可能导致之前成功的登录Session失效。通过使用...

    Python-3.7.0-amd64.rar

    Python是世界上最受欢迎的编程语言之一,特别是在数据科学、Web开发和自动化领域。...如果你对Python有任何疑问或者想要了解更多关于Python 3.7.0的信息,可以访问提供安装教程的博主的博客,获取更多的资源和指导。

    python标准库中文版

    用于解释由`os.stat()`返回的状态信息,如文件类型、权限等,对于文件状态的查询非常有用。 #### string模块 提供了字符串操作的常量和函数,如`string.ascii_letters`,用于生成特定类型的字符串。 #### re模块 ...

    python实现网络爬虫使用了第三方库beautifulsoup来解析网页文件,并且实现了cookie登录特定网站访问.zip

    4. **选择器和CSS选择器**:通过`.select()`方法,我们可以使用CSS选择器来精确地定位网页元素,这在处理复杂网页布局时非常有用。 接下来,我们要讨论如何处理网站登录,特别是通过cookie。在网络爬虫中,有时需要...

    python标准库的简单介绍

    不过,对于学习早期版本的Python仍然有用。 ##### 1.4 os 模块 os模块提供了与操作系统交互的功能,包括创建目录、更改当前工作目录、删除文件或目录等。通过os模块,可以实现跨平台的文件和目录管理。 ##### 1.5...

    PYTHON官方文档

    3. **字典有序**:从3.6版本开始,Python字典实现了保持插入顺序,这对于需要保持数据顺序的场景非常有用。 4. **类型注解**:Python 3.6进一步增强了类型注解的使用,使得静态类型检查和代码分析工具能更好地理解...

    selenium-python.pdf

    ### Selenium Python Bindings 第二版概述 #### 一、安装指南 **1.1 引言** Selenium Python bindings 提供了一个简洁的 API 来控制 Selenium WebDriver 的操作。WebDriver 是一个独立的应用程序,用于与浏览器...

    python解密带密码的xlsx文件,重新写出

    在读取文件时,根据文件名从字典中获取相应的密码,这样就可以实现自动化处理。 需要注意的是,这种方法仅适用于所有工作表使用同一个密码的情况。对于不同工作表有不同的密码,可能需要对每个工作表分别处理,并...

Global site tag (gtag.js) - Google Analytics