|
感谢作者,原帖地址http://www.hi-pda.com/forum/view ... &extra=page%3D1: H( \$ h$ ~/ a4 ?% m) O. R3 {
: I2 J3 g& X( F4 ^+ g
2009年4月2日 更新说明
* G2 ^* {* z' R/ i- e E! A
+ y1 N# j4 g2 i3 K, M a6 [0 |0 F$ U: t6 w1 更新网页解析规则,解决个别城市无法顺利抓取的问题。
' h a' ?' H" q1 g
8 u- h" v ]* R/ ^/ S+ F2009年4月1日 更新说明
' |. U: a3 }6 z% o" ?6 r& f
{. C! [* O' c% G迫于Palmer们强大的压力,熬夜推出全新版本。为了节约时间,没有制作界面,请谅解。
6 _, `! N( c$ } t) ^8 Y! ]1 I时间仓促,未能仔细测试,欢迎指正。感谢各位朋友的支持。
# b+ h' M' l- ~ J' m6 o2 {3 M/ N g
-----------------------------------------------------------------------: j5 @0 U5 ]( M- F% ]; }% O$ j
# w/ y) j9 H7 [( w# z
2009年03月25日 更新说明
9 O( u/ J* z( v4 I- C3 p0 g
' G0 p* G4 C# d1 因公交数据源更新,相应地调整了数据抓取路径。
1 k7 Y6 h) q1 m' [; X, x0 I3 v6 Y# h; W1 q& P7 ^
1 [" S' T- ]* j! U- _; K/ F
最近因为8684更新了数据访问路径,导致了BusLineDataSpider无法正常抓取数据。
$ ]' V) n" w; q. d& N5 \0 L- v今晚忙里偷闲,赶着更新了一下,欢迎大家测试。' b2 O) A% m: ^, J/ j( C
4 F$ O" }- d8 m( P+ t
-----------------------------------------------------------------------
; D! g5 s- z$ A" ?( L5 @; n0 I6 _ Y! h+ x: M
2008年12月12日 更新说明
. t! X% c( E; k9 e! p" Q5 ]: o2 Y0 r& G3 V0 E
1 增加一个配置文件 用户可以通过配置相关属性 在生成时取消某些线路信息 如公交公司 乘车价格
4 H7 L- U5 A3 \( I9 I3 k' h( p3 G2 将同类型的线路生成在一起 方便修改路线文件( H# z6 B% r- g, e
. Y# \' Z: t5 e4 b( n& P-----------------------------------------------------------------------
; _# n$ x% v. r. h! u. N0 j& M% X7 R5 ?. p: s% h
2008年12月5日16点 build20081205 更新说明
5 w4 P2 \- E' U" \ H5 y0 t ^; U ]. o9 P
这个版本开放了“软件运行日志”功能,软件的运行流程都会被写入到日志文件。这一功能对普通使用者意义不大,主要是开发者用来对软件进行纠错。但是考虑到软件在抓取数据时,可能会因为数据格式异常而导致抓取中止。因此如果大家在抓取数据时出现异常,可以把日志文件发给我供我参考纠错。打开这一功能的方法是:在BusLineDataSpider.exe的同一个目录下建立一个名为“Debug”的文件夹即可。生成的日志文件就会被写到“Debug”文件夹内,软件每一次运行都会生成一个日志。没有“Debug”文件夹的话,则此功能自动关闭。
( U! K! f/ ^' L& e+ V4 g
" [9 c8 ~- m& G: W+ A 很多朋友回复说在抓取时出现了“在抓取XXX线路时,访问无效网址”这一错误提示,这一问题主要是由于提供数据源的网站出现了非常规格式的数据,导致了以前的解析策略不能正常工作,这一问题留在下一版本解决。暂时的解决办法就是调整抓取范围,跳过有问题的线路,继续抓取。见谅。* _* J( x0 P: H0 P+ p
. g) I' r: O! }) o9 }0 q
------------------------------------------------------------------------ T! r* |% u+ T* o+ [6 M4 Z- b
# z9 n) @( s* \+ J ]
5 {) H' |. f1 t+ e. F1 作用
" ]3 d1 A$ B' f6 h+ L 自动生成BusLine所使用的公交线路数据,从而再也不用为找不到最新的BusLine数据而发愁。. X: z$ r7 x2 s" k' Y
4 E; G8 m( y1 U0 y2 k2 工作原理2 J G% a. U0 g# u
从网络上自动抓取数据,按照BusLine规定的格式生成txt文件。
* s+ O6 M8 y9 n- Y7 q A- [# Q8 R: A$ c# I3 m
3 运行条件" h' l9 c$ g( j9 S$ Y+ v; K7 j8 W* I
需要.Net2.0 Framework运行库的支持。如果下载后发现程序不能运行,请前往以下地址下载:( f0 R& c, t- y& O, ]
http://www.onlinedown.net/soft/38669.htm
3 X- X2 R) L) ~. v+ k! }3 T
( Y W. ]- Q% M6 G1 j4 使用方法" z2 l" R5 P+ A& M+ Y; D
1)城市名称请填写城市拼音,如beijing。
# y4 M5 M* p* ?2 K' {% a l h( H2 E 2)线路范围表示想获取的线路数据的范围值,如想获取1路到200路的数据填写1-200,点击“按范围抓取”按钮。如果想获取整个城市的公交数据,一般情况下填写1-999即可。从1搜索到999,如果网速不够快将耗费不少时间,请耐心等待。- j& }, s6 E R% o& w! u+ S
3)线路名称表示如果有如“机场专线”,“高新专线”这种不带号码的公交车,它的数据将不会被前一种方式所获得。请把此类公交名称填写到“线路名称”框内,点击“按名称抓取”即可。
* X2 ^& F( g! J3 E6 q 4)代理服务器不明白什么意思的朋友不填即可。2 ^' f6 g( `4 J5 D) H- T
5)一切准备就绪,请点击“按范围抓取”或者“按名称抓取”,然后耐心等待。在抓取的过程中这两个按钮不再起作用,如果想修改参数重新抓取请先点击“停止抓取”按钮。# }& X- ]& V5 J- v
6)抓取完毕会弹出操作完毕的提示框,此时点生成文件即可。生成的文件和程序在同一目录下。' j/ ^: [% J: ] [% z* }6 f' I
7)文件生成好后,还不能被BusLine直接读取,请使用“BusFile Builder”这个软件生成PDB文件。
2 n8 C0 D. S, U4 d( Q o 8)在抓取数据的过程中,成功获取到的线路会显示在成功列表里,如果网络连接超时将会把当前抓取的线路放入到失败列表,在其他线路抓取完毕后会对其重新抓取,直到全部成功。等不及的朋友请点击“停止抓取”。
) ]8 J6 g7 `& V0 m4 |' u0 c2 ? `$ t. k W( K
5 相关说明
; J" C/ s$ T3 R 1)如果提示抓取完毕但是并没有任何数据,表示没有该城市的数据信息。
' ]/ V! e8 t: X% ?- @% X0 O 2)如果抓取的线路不存在,会继续搜寻包含有此名称的其他线路。例:如果不存在“5路”,可能将会出现“55路”,“305路”车的数据。9 C5 \6 m7 t2 G5 V K
3)根据上面的与规则,所以查询“1”路车,可能会出现“1路”,“城乡1路”,“机场1路”等数据。但是如果其中任意一条数据在读取时连接超时,范围值“1”将被加入“失败列表”,有关“1”的线路将会被全部重新抓取。0 t6 H# n0 U# l6 x
4)在软件运行过程中,每一次抓取的数据都会和以前的数据合并在一起,因此并不会因为重新抓取而清空上一次的数据。如果想清空数据重新抓取,请关闭软件再重新运行。
7 G ?2 ~, J l; V6 R+ b 5)软件在运行过程中,无论抓取多少次,所抓取到的数据都保存在内存中,只有点击“生成文件”按钮,才会被写入硬盘。如果因为网速太慢而范围值太大,等待过久,请及时保存文件,避免数据丢失。
8 M4 P/ M0 {2 Y3 T. C 6)如果在运行过中,如抓取1-100,中途在抓取到50时,因为弹出“网络连接超时”对话框从而导致抓取不能继续进行,此时可以调整范围值,将其修改为50-100,再重新点击抓取按钮。如果不修改范围值,将会重头开始。
/ x' Y( B8 p0 b" e6 w$ ]$ j3 W 7)如果软件运行崩溃或者生成数据格式有误,请发邮件跟我联系,谢谢大家的反馈。所有数据均来自网络,线路名称本身正确与否概不负责。
9 }2 S0 B/ U4 ?1 Q% s1 d: p6 S8 T 8)线路数据均来自网站http://www.8684.cn W" a1 A2 C& u) |/ x
9)BusFileBuilder不能正常运行的朋友请参看本页30楼的办法,我没测试过,不保证一定成功。
( |( v f1 h( f a9 \2 E. t) t- v7 V4 J! w
6 广而告之
' K0 S( Z+ L3 h4 e& E" Y 《回拨助手》:http://bbs.maxpda.com/viewthread.php?tid=159100
- r' y; f$ T) v. u
; R+ R( @/ K5 c! ~7 感谢在软件开发过程中所有帮助过我的朋友
; A' G2 c& O! f; p* s( H! W$ c" l; z' r, O: O5 _2 d2 K% i+ K
------------------------ ~: ]. h" u2 T$ Y t1 k2 P
小超 / v7 z, t0 B T5 Z6 p; ^2 t' ^
gmail.com#ourloveliness(#左右交换即可 #即@); Y: f# O( r0 V7 D2 Q
2008-12-04
4 \! V1 s2 O: I4 h2 x
- o& j2 E6 K' H4 I
我在运行时是在dos下的界面,与截图不符,截图是旧版本的,但是一样能用,只是不能选线路范围了,而是把线路全部抓取出,请大家测试+ k, C/ F9 c7 j% i H2 h
2 U c9 w2 U G$ z[ 本帖最后由 xiaoyu0314 于 2009-4-2 16:26 编辑 ] |
|