在Erlang中，如何从一个网页抓取网页链接及它的2级链接？

0 0

在Erlang中，如何从一个网页抓取网页链接及它的2级链接？20

『问』在Erlang中，从一个网页抓取网页链接及它的2级链接？
-module(spider).
-compile(export_all).
-import(lists,[reverse/1,reverse/2,map/2]).

nano_get_url() ->
nano_get_url("www.erlang.org").

nano_get_url(Host) ->
{ok,Socket} = gen_tcp:connect(Host, 80, [binary,{packet,0}]),
ok = gen_tcp:send(Socket,"GET / HTTP/1.0\r\n\r\n"),
receive_data(Socket,[]).

receive_data(Socket,SoFar) ->
receive
{tcp,Socket,Bin} ->
receive_data(Socket,[Bin|SoFar]);
{tcp_closed,Socket} ->
list_to_binary(lists:reverse(SoFar))
end.

urls2htmlFile(Urls,File) ->
file:write_file(File,urls2html(Urls)).

bin2urls(Bin) -> gather_urls(binary_to_list(Bin),[]).

urls2html(Urls) -> [h1("Urls"),make_list(Urls)].

h1(Title) -> ["<h1>",Title,"</h1>\n"].

make_list(L) ->
["<u1>\n",
map(fun(I) -> ["<li>",I,"</li>\n"] end, L),
"</u1>\n"].

gather_urls("<a href" ++ T,L) ->
{Url,T1}=collect_url_body(T,reverse("<a href")),
gather_urls(T1,[Url|L]);
gather_urls([_|T],L) ->
gather_urls(T,L);
gather_urls([],L) ->
L.

collect_url_body("</a>" ++ T,L) -> {reverse(L,"</a>"),T};
collect_url_body([H|T],L) -> collect_url_body(T,[H|L]);
collect_url_body([],_) -> {[],[]}.

它的结果为：
<h1>Urls</h1>
<u1>
<li><a href="http://www.openssl.org/">openSSL</a></li>
<li><a href="http://www.modssl.org/">mod_ssl</a></li>
<li><a href="http://www.openbsd.org/art1.html">OpenBSD images</a></li>
<li><a href="http://www.openbsd.org/">OpenBSD</a></li>
<li><a href="http://www.openbsd.org/cgi-bin/man.cgi?query=httpd&format=html">httpd(8)</a></li>
<li><a href="http://www.openbsd.org/cgi-bin/man.cgi?query=ssl&format=html&sektion=8">ssl(8)</a></li>
<li><a href="http://www.openbsd.org/faq/faq4.html#FilesNeeded">misc</a></li>
<li><a href="http://www.openbsd.org/">
OpenBSD System</a></li>
<li><a href="http://httpd.apache.org/">Apache Web server</a></li>
<li><a href="http://www.openbsd.org/"><img alt="[OpenBSD]" border="0" height=30 width=141 SRC="smalltitle.gif"></a></li>
</u1>
这是个一级链接，求二级链接！

我是想把以及链接的 <a href 后面的url地址提取出来，用file:read_file(“http://www.openssl.org/")这样的URl地址提取出来，求详解！谢谢！
（本人初学者）

问题补充：

shenhui134 写道

正则匹配下

Erlang中没有正则

Erlang