找回密码
 加入我们

QQ登录

只需一步,快速开始

搜索
查看: 6975|回复: 19

[PalmOS软件] BusLineDataSpider2——轻松拥有最新的BusLine线路数据 4月2日更新(转自hipda)

[复制链接]
发表于 2009-4-2 10:57 | 显示全部楼层 |阅读模式
感谢作者,原帖地址http://www.hi-pda.com/forum/view ... &extra=page%3D1: H( \$ h$ ~/ a4 ?% m) O. R3 {
: I2 J3 g& X( F4 ^+ g
2009年4月2日 更新说明
* G2 ^* {* z' R/ i- e  E! A
+ y1 N# j4 g2 i3 K, M  a6 [0 |0 F$ U: t6 w1 更新网页解析规则,解决个别城市无法顺利抓取的问题。
' h  a' ?' H" q1 g
8 u- h" v  ]* R/ ^/ S+ F2009年4月1日 更新说明
' |. U: a3 }6 z% o" ?6 r& f
  {. C! [* O' c% G迫于Palmer们强大的压力,熬夜推出全新版本。为了节约时间,没有制作界面,请谅解。
6 _, `! N( c$ }  t) ^8 Y! ]1 I时间仓促,未能仔细测试,欢迎指正。感谢各位朋友的支持。
# b+ h' M' l- ~  J' m6 o2 {3 M/ N  g
-----------------------------------------------------------------------: j5 @0 U5 ]( M- F% ]; }% O$ j
# w/ y) j9 H7 [( w# z
2009年03月25日 更新说明
9 O( u/ J* z( v4 I- C3 p0 g
' G0 p* G4 C# d1 因公交数据源更新,相应地调整了数据抓取路径。
1 k7 Y6 h) q1 m' [; X, x0 I3 v6 Y# h; W1 q& P7 ^
1 [" S' T- ]* j! U- _; K/ F
最近因为8684更新了数据访问路径,导致了BusLineDataSpider无法正常抓取数据。
$ ]' V) n" w; q. d& N5 \0 L- v今晚忙里偷闲,赶着更新了一下,欢迎大家测试。' b2 O) A% m: ^, J/ j( C
4 F$ O" }- d8 m( P+ t
-----------------------------------------------------------------------
; D! g5 s- z$ A" ?( L5 @; n0 I6 _  Y! h+ x: M
2008年12月12日 更新说明
. t! X% c( E; k9 e! p" Q5 ]: o2 Y0 r& G3 V0 E
1 增加一个配置文件 用户可以通过配置相关属性 在生成时取消某些线路信息 如公交公司 乘车价格
4 H7 L- U5 A3 \( I9 I3 k' h( p3 G2 将同类型的线路生成在一起 方便修改路线文件( H# z6 B% r- g, e

. Y# \' Z: t5 e4 b( n& P-----------------------------------------------------------------------
; _# n$ x% v. r. h! u. N0 j& M% X7 R5 ?. p: s% h
2008年12月5日16点 build20081205 更新说明
5 w4 P2 \- E' U" \  H5 y0 t  ^; U  ]. o9 P
    这个版本开放了“软件运行日志”功能,软件的运行流程都会被写入到日志文件。这一功能对普通使用者意义不大,主要是开发者用来对软件进行纠错。但是考虑到软件在抓取数据时,可能会因为数据格式异常而导致抓取中止。因此如果大家在抓取数据时出现异常,可以把日志文件发给我供我参考纠错。打开这一功能的方法是:在BusLineDataSpider.exe的同一个目录下建立一个名为“Debug”的文件夹即可。生成的日志文件就会被写到“Debug”文件夹内,软件每一次运行都会生成一个日志。没有“Debug”文件夹的话,则此功能自动关闭。
( U! K! f/ ^' L& e+ V4 g
" [9 c8 ~- m& G: W+ A    很多朋友回复说在抓取时出现了“在抓取XXX线路时,访问无效网址”这一错误提示,这一问题主要是由于提供数据源的网站出现了非常规格式的数据,导致了以前的解析策略不能正常工作,这一问题留在下一版本解决。暂时的解决办法就是调整抓取范围,跳过有问题的线路,继续抓取。见谅。* _* J( x0 P: H0 P+ p
. g) I' r: O! }) o9 }0 q
------------------------------------------------------------------------ T! r* |% u+ T* o+ [6 M4 Z- b

# z9 n) @( s* \+ J  ]
5 {) H' |. f1 t+ e. F1 作用
" ]3 d1 A$ B' f6 h+ L    自动生成BusLine所使用的公交线路数据,从而再也不用为找不到最新的BusLine数据而发愁。. X: z$ r7 x2 s" k' Y

4 E; G8 m( y1 U0 y2 k2 工作原理2 J  G% a. U0 g# u
    从网络上自动抓取数据,按照BusLine规定的格式生成txt文件。
* s+ O6 M8 y9 n- Y7 q  A- [# Q8 R: A$ c# I3 m
3 运行条件" h' l9 c$ g( j9 S$ Y+ v; K7 j8 W* I
    需要.Net2.0 Framework运行库的支持。如果下载后发现程序不能运行,请前往以下地址下载:( f0 R& c, t- y& O, ]
    http://www.onlinedown.net/soft/38669.htm
3 X- X2 R) L) ~. v+ k! }3 T
( Y  W. ]- Q% M6 G1 j4 使用方法" z2 l" R5 P+ A& M+ Y; D
    1)城市名称请填写城市拼音,如beijing。
# y4 M5 M* p* ?2 K' {% a  l  h( H2 E    2)线路范围表示想获取的线路数据的范围值,如想获取1路到200路的数据填写1-200,点击“按范围抓取”按钮。如果想获取整个城市的公交数据,一般情况下填写1-999即可。从1搜索到999,如果网速不够快将耗费不少时间,请耐心等待。- j& }, s6 E  R% o& w! u+ S
    3)线路名称表示如果有如“机场专线”,“高新专线”这种不带号码的公交车,它的数据将不会被前一种方式所获得。请把此类公交名称填写到“线路名称”框内,点击“按名称抓取”即可。
* X2 ^& F( g! J3 E6 q    4)代理服务器不明白什么意思的朋友不填即可。2 ^' f6 g( `4 J5 D) H- T
    5)一切准备就绪,请点击“按范围抓取”或者“按名称抓取”,然后耐心等待。在抓取的过程中这两个按钮不再起作用,如果想修改参数重新抓取请先点击“停止抓取”按钮。# }& X- ]& V5 J- v
    6)抓取完毕会弹出操作完毕的提示框,此时点生成文件即可。生成的文件和程序在同一目录下。' j/ ^: [% J: ]  [% z* }6 f' I
    7)文件生成好后,还不能被BusLine直接读取,请使用“BusFile Builder”这个软件生成PDB文件。
2 n8 C0 D. S, U4 d( Q  o    8)在抓取数据的过程中,成功获取到的线路会显示在成功列表里,如果网络连接超时将会把当前抓取的线路放入到失败列表,在其他线路抓取完毕后会对其重新抓取,直到全部成功。等不及的朋友请点击“停止抓取”。
) ]8 J6 g7 `& V0 m4 |' u0 c2 ?  `$ t. k  W( K
5 相关说明
; J" C/ s$ T3 R    1)如果提示抓取完毕但是并没有任何数据,表示没有该城市的数据信息。
' ]/ V! e8 t: X% ?- @% X0 O    2)如果抓取的线路不存在,会继续搜寻包含有此名称的其他线路。例:如果不存在“5路”,可能将会出现“55路”,“305路”车的数据。9 C5 \6 m7 t2 G5 V  K
    3)根据上面的与规则,所以查询“1”路车,可能会出现“1路”,“城乡1路”,“机场1路”等数据。但是如果其中任意一条数据在读取时连接超时,范围值“1”将被加入“失败列表”,有关“1”的线路将会被全部重新抓取。0 t6 H# n0 U# l6 x
    4)在软件运行过程中,每一次抓取的数据都会和以前的数据合并在一起,因此并不会因为重新抓取而清空上一次的数据。如果想清空数据重新抓取,请关闭软件再重新运行。
7 G  ?2 ~, J  l; V6 R+ b    5)软件在运行过程中,无论抓取多少次,所抓取到的数据都保存在内存中,只有点击“生成文件”按钮,才会被写入硬盘。如果因为网速太慢而范围值太大,等待过久,请及时保存文件,避免数据丢失。
8 M4 P/ M0 {2 Y3 T. C    6)如果在运行过中,如抓取1-100,中途在抓取到50时,因为弹出“网络连接超时”对话框从而导致抓取不能继续进行,此时可以调整范围值,将其修改为50-100,再重新点击抓取按钮。如果不修改范围值,将会重头开始。
/ x' Y( B8 p0 b" e6 w$ ]$ j3 W    7)如果软件运行崩溃或者生成数据格式有误,请发邮件跟我联系,谢谢大家的反馈。所有数据均来自网络,线路名称本身正确与否概不负责。
9 }2 S0 B/ U4 ?1 Q% s1 d: p6 S8 T    8)线路数据均来自网站http://www.8684.cn  W" a1 A2 C& u) |/ x
    9)BusFileBuilder不能正常运行的朋友请参看本页30楼的办法,我没测试过,不保证一定成功。
( |( v  f1 h( f  a9 \2 E. t) t- v7 V4 J! w
6 广而告之
' K0 S( Z+ L3 h4 e& E" Y    《回拨助手》:http://bbs.maxpda.com/viewthread.php?tid=159100
- r' y; f$ T) v. u
; R+ R( @/ K5 c! ~7 感谢在软件开发过程中所有帮助过我的朋友
; A' G2 c& O! f; p* s( H! W$ c" l; z' r, O: O5 _2 d2 K% i+ K
------------------------ ~: ]. h" u2 T$ Y  t1 k2 P
小超 / v7 z, t0 B  T5 Z6 p; ^2 t' ^
gmail.com#ourloveliness(#左右交换即可 #即@); Y: f# O( r0 V7 D2 Q
2008-12-04
4 \! V1 s2 O: I4 h2 x 截图.gif - o& j2 E6 K' H4 I
我在运行时是在dos下的界面,与截图不符,截图是旧版本的,但是一样能用,只是不能选线路范围了,而是把线路全部抓取出,请大家测试+ k, C/ F9 c7 j% i  H2 h

2 U  c9 w2 U  G$ z[ 本帖最后由 xiaoyu0314 于 2009-4-2 16:26 编辑 ]

BusFileBuilder.rar

59.98 KB, 下载次数: 1310

txt转pdb的

BusLineDataSpider2 For Console build20090401.rar

67.79 KB, 下载次数: 1367

主程序

BusLineDataSpider20081212.rar

30.82 KB, 下载次数: 1099

旧的程序

BusLineDataSpider2 For Console build20090402.rar

68.68 KB, 下载次数: 1579

4月2日更新,还热乎呢

回复

使用道具 举报

 楼主| 发表于 2009-4-2 11:00 | 显示全部楼层
沙发是必须自己的
回复 支持 反对

使用道具 举报

 楼主| 发表于 2009-4-2 11:01 | 显示全部楼层
板凳也不能放过,不能把机会留给别人
回复 支持 反对

使用道具 举报

发表于 2009-4-2 15:25 | 显示全部楼层
还好,没跟我抢地板
回复 支持 反对

使用道具 举报

 楼主| 发表于 2009-4-2 16:04 | 显示全部楼层
本来我也想抢的,后来一想,做人要厚道呀
回复 支持 反对

使用道具 举报

 楼主| 发表于 2009-4-2 16:28 | 显示全部楼层
我在哈尔滨,就先发上哈尔滨的公交线路吧

haerbin20090402.pdb

70.17 KB, 下载次数: 1134

回复 支持 反对

使用道具 举报

发表于 2009-4-10 21:44 | 显示全部楼层
顶上了,好东西呀
回复 支持 反对

使用道具 举报

发表于 2009-4-10 21:47 | 显示全部楼层
谢谢您好的辛苦劳动,试用!
回复 支持 反对

使用道具 举报

发表于 2009-4-11 16:39 | 显示全部楼层
总算又能用了。有新人也开发了一个,介面看上去不错。但运行不了。6 C# s6 l3 A5 M: O% ~  e
而且又有人打击他。估计是不会更新了。
回复 支持 反对

使用道具 举报

发表于 2009-4-19 13:42 | 显示全部楼层
回复 支持 反对

使用道具 举报

发表于 2009-4-26 20:14 | 显示全部楼层
非常感谢转帖
回复 支持 反对

使用道具 举报

发表于 2009-5-30 17:01 | 显示全部楼层
支持呵呵~!
回复 支持 反对

使用道具 举报

发表于 2009-6-4 20:46 | 显示全部楼层
自己动手,丰衣足食呵呵,很强大!!!多谢楼主分享
回复 支持 反对

使用道具 举报

发表于 2009-7-26 15:26 | 显示全部楼层
很强大!!!多谢楼主分享
回复 支持 反对

使用道具 举报

发表于 2009-8-2 23:56 | 显示全部楼层

回复 楼主1# xiaoyu0314 的帖子

楼主,能不能帮忙给做一下:7 S! e: s* S; M* a# f3 |
上海,天津,北京,广州,深圳,这几个城市的公交数据?
" O8 F3 s: ~; j' C) |  [我这里用BusFileBuilder的时候总出现错误,谢了。
回复 支持 反对

使用道具 举报

发表于 2009-8-6 21:41 | 显示全部楼层
相当不错,很好用,谢谢
回复 支持 反对

使用道具 举报

发表于 2009-8-7 01:27 | 显示全部楼层
很强大!!!多谢楼主分享
回复 支持 反对

使用道具 举报

发表于 2010-1-7 16:45 | 显示全部楼层
太谢谢了,现在不知还好不好用,试试。。。
回复 支持 反对

使用道具 举报

发表于 2010-5-28 17:08 | 显示全部楼层
不顶不行啊!太好了!!!搂住乃好大好大好的人啊!!
回复 支持 反对

使用道具 举报

发表于 2011-2-15 20:15 | 显示全部楼层
请试下合肥
, [2 A* b( g7 E3 n5 I: p6 I. y7 phefei
3 x: g0 b" ?8 F5 d6 A4 `抓取都没有问题,但生成PDB的时候,说错误6,溢出
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

QQ|Archiver|手机版|小黑屋|吹友吧 ( 京ICP备05078561号 )

GMT+8, 2025-1-24 15:22 , Processed in 0.370958 second(s), 20 queries .

Powered by Discuz! X3.5 Licensed

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表