本帖最后由 群发软件 于 2017-8-10 21:56 编辑
Delphi程序如何实网页采集功能
说到网页采集，通常大家以为到网上偷数据，然后把到收集到的数据挂到自己网上去。其实也可以将采集到的数据做为公司的参考，或把收集的数据跟自己公司的业务做对比等。
目前网页采集多为3P代码为多（3P即ASP、PHP 、JSP）。用得最有代表的就动易科技公司BBS中新闻采集系统，和网上流传的新浪新闻采集系统等都是用ASP程序来使用，但速度从理论上来说不是很好。如果尝试用其它软件的多线程采集是不是更快？答案是肯定的。用DELPHI、VC、VB、JB都可以，PB似乎比较不好做。以下用DELPHI来解释采集网页数据。
简单的新闻采集
新闻采集是最简单的，只要识别标题、副题、作者、出处、日期、新闻主体、分页就可以了。在采集之前肯定要取得网页的内容，所以在DELPHI里加入idHTTP控件（在indy Clients面板），然后用idHTTP1.GET 方法取得网页的内容，声明如下：
function Get(AURL: string): string; overload;
AURL参数，是string类型，指定一个URL地址字符串。函数返回也是string类型，返回网页的HTML源文件。比如我们可以 这样调用：
tmpStr:= idHTTP1.Get(‘’);
调用成功后，tmpstr变量里存储的就是网易主页的代码了。
接下来，讲一下数据的截取，这里，我定义了这么一个函数：
function TForm1.GetStr(StrSource,StrBegin,StrEnd:string):string;
var
in_star,in_end:integer;
begin
in_star:=AnsiPos(strbegin,strsource)+length(strbegin);
in_end:=AnsiPos(strend,strsource);
result:=copy(strsource,in_sta,in_end-in_star);
end;
StrSource：string类型，表示HTML源文件。
StrBegin：string类型，表示截取开始的标记。
StrEnd：string，表示截取结束的标记。
函数返回字符串StrSource中从StrSource到StrBegin之间的一段文本。
比如：
strtmp:=TForm1.GetStr(‘A123BCD’,‘A’,‘BC’);
运行后，strtmp的值为：’123’。
关于函数里用到的AnsiPos和copy，都是系统定义的，可以从delphi的帮助文件里找到相关说明，我在这里也简单罗嗦一下：
function AnsiPos(const Substr, S: string): Integer
返回Substr在S中第一次出现的位置。
function copy(strsource,in_sta,in_end-in_star): string;
返回字符串strsource中,从in_sta（整型数据）开始到in_end-in_star（整型数据）结束的字符串。
有了以上函数，我们就可以通过设置各种标记，来截取想要的文章内容了。在程序中，比较麻烦的是我们需要设置许多标记，要定位某一项内容，必须设置它的开始和结束标志。比如要取得网页上的文章标题，必须事先查看网页代码，查看出文章标题前边和后边的一些特征代码，通过这些特征代码，来截取文章的标题。
下面我们来实际演示一下，假设要采集的文章地址为
代码为：
<html>
<head>
<meta http-equiv="Content-Language" content="zh-cn">
<meta name="GENERATOR" content="Microsoft FrontPage 5.0">
<meta name="ProgId" content="FrontPage.Editor.Document">
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<title>新建网页 1</title>
</head>
<body>
<p align="center"><b>文章标题</b></p>
<table border="1" cellpadding="0" cellspacing="0" style="border-collapse: collapse" bordercolor="#111111" width="100%" id="AutoNumber1">
<tr><td width="60%">作者</td>
<td width="40%">出处</td></tr>
</table>
<p><font size="2">这里是文章内容正文。</font></p>
<a href='..new_pr.asp'>上一页</a> <a href='new_ne.asp'>下一页</a>
</body>
</html>
第一步，我们用StrSource:= idHTTP1.Get(‘’);将网页代码保存在strsource变量中。
然后定义strTitle、strAuthor、strCopyFrom、strContent：
strTitle:= GetStr(StrSource,’ <p align="center"><b>’,’ </b></p>’):
strAuthor:= GetStr(StrSource,’ <tr><td width="60%">’,’ </td>’):
strCopyFrom:= GetStr(StrSource,’ <td width="40%">’,’ </td></tr>’):
strContent:= GetStr(StrSource,’ <p><font size="2">,’ </font></p>’):
这样，就能把文章的标题、副题、作者、出处、日期、内容和分页分别存储在以上变量中。
第二步，用循环的办法，打开下一页，并取得内容，加到strContent变量中。
StrSource:= idHTTP1.Get(‘new_ne.asp’);
strContent:= strContent +GetStr(StrSource,’ <p><font size="2">,’ </font></p>’):
然后再判断有没有下一页，如果还有就接着取得下一页的内容。
这样就完成了一个简单的截取过程。从以上的程序代码可以看到，我们使用的截取办法都是找截取内容的头部和尾部的，如果遇到这个头部和尾部有多个怎么办？似乎没办法，只会找到第一个，所以在找之前应该验证一下是不是只有一处有这个截取的内容的前后部。
就以下两个方面来讲解以下在delphi中如何用多线程进行数据采集：
---- 1. 多线程进行数据采集应解决的问题
---- 其实，多线程程序设计复杂是暂时的；如果，你采用传统的C进行多线程的设计，那么你必须自己控制线程间的同步。那将是很复杂的。但是，如果利用面向对象的设计方法，采用Delphi进行多线程程序设计，问题就简单多了。这是因为，Delphi已将多线程的复杂性替我们处理了，我们所要做的就是继承。
---- 具体地说，多线程数据采集需要完成以下工作：
---- ① 从TThread类派生一个自己的类SampleThread。这就是我们用于数据采集的类。进行采集时，只需要简单地创建一个SampleThread的实例。
---- ② 重载超类TThread的Execute方法。在这一方法中将具体地执行数据采集任务。
---- ③ 如果希望一边采集一边显示，就在编写几个用于显示采集进度的过程，供Execute方法调用。
---- TThread类中最常用的属性/方法如下：
Create方法：constructor Create
(CreateSuspended: Boolean);
---- 其中CreateSuspended参数确定线程在创建时是否立即执行。如果为True，新线程在创建后被挂起；如果为False，线程在创建后立即执行。
FreeOnTerminate属性：
property FreeOnTerminate: Boolean;
---- 该属性确定程序员是否负责撤消该线程。如果该属性为True，VCL将在该线程终止时自动撤消线程对象。它的缺省值为False。
OnTerminate属性：
property OnTerminate: TNotifyEvent;
---- 该属性指定一个当线程终止时发生的事件。
---- 下面看一个具体的例子：
---- 2. 多线程数据采集的实现
---- 这是笔者开发的一个测抽油机功图的程序。它的功能是采集抽油机悬点的载荷及位移数据，经过处理后做出抽油机的功图。图1(略)所示是数据采集时的界面。点“采集数据”按钮后，程序将创建一新的线程，并设置其属性。这一新线程将完成数据采集任务。程序如下：
Procedure TsampleForm.
DoSampleBtnClick(Sender: TObject);
Begin
ReDrawBtn.Enabled := True;
DoSampleBtn.Enabled := False;
FFTBtn.Enabled := True;
TheSampler := SampleThread.Create(False);
创建采集线程
TheSampler.OnTerminate := FFTBtnClick;
采集完成后要执行的任务
TheSampler.FreeOnTerminate := True;
采集完成后撤消
End;
---- 采集线程的类定义如下：
Type
SampleThread = class(TThread)
Public
function AdRead(ach: byte): integer; safecall;
读A/D卡的函数
procedure UpdateCaption;
显示采集所用时间
private
{ Private declarations }
protected
thes, thep: real;
dt: real;
id: integer;
st, ed: LongInt;
procedure Execute; override;
这是关键。
End;
---- 在这个类中定义了一个函数AdRead用于操作A/D卡，两个过程用于显示采集的进度与所用时间。需要注意的是AdRead函数是用汇编写的，参数调用格式必须是safecall。
---- 关键的重载方法Execute的代码如下：
Procedure SampleThread.Execute;
Begin
StartTicker := GetTickCount;
id := 0;
Repeat
thes := Adread(15) * ad2mv * mv2l;
采集第15通道
thep := Adread(3) * ad2mv * mv2n;
采集第3通道
dt := GetTickCount - StartTicker;
sarray[id] := thes;
parray[id] := thep;
tarray[id] := dt;
inc(id);
Synchronize(UpdateCaption);
注意：显示采集进度
Until id >=4096;
ed := GetTickCount;
Synchronize(ShowCostTime);
注意：显示所用时间
end;
---- 从以上代码中可见，Execute与一般的代码并无本质区别。仅有的区别是显示采集进度和显示所用时间时，不能直接调用各自的过程，而是通过调用Synchronize间接地调用。这样作是为了保持进程间的同步。
|( 京ICP备09078825号 )
发表于 2017-8-10 21:46:51
收藏
