-
-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy patheasyspider.client.cfg
133 lines (101 loc) · 2.94 KB
/
easyspider.client.cfg
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
####################################################
############ Easyspider Configuration ##############
####################################################
#
# Definition: Feature is enabled by 1 and dissabled by 0
# pdftest: http://www.zoozle.net/search_pdf.html
# doctest: http://www.zoozle.net/search_doc.html
# ppttest: http://www.wsgn.euv-frankfurt-o.de/vc/SS2004/Vorlesung/
# xlstest: http://homepage.ruhr-uni-bochum.de/Jens.Rademacher/
# rtftest: http://www.informatik.htw-dresden.de/~walther/downloads/studienordnung/POWI1299.rtf
# WICHTIG: Ordner, in denen Daten gespeichert werden, dürfen nur in erste ebene angegeben werden:
# Beispiel: Richtig: STOREPATH = C:\store_client /// FALSCH : STOREPATH = C:\CLIENT\store_client
###
### IMPORTANT Option
### Server gives out options for scanning
#PATHDEPTH = 5
#LINKDEPTH = 5
#FOLLOWEXT = 0
#STORELOCAL = 0
#WORKTYPE = spider
###
### REGION Specific
###
DESCRIPTION = 1
KEYWORDS = 1
TITLE = 1
DATE = 1
BODY = 1
REGION_1 = h3
REGION_2 = div
REGION_3 =
REGION_4 =
REGION_5 =
REGION_6 =
REGION_7 =
REGION_8 =
REGION_9 =
REGION_0 =
###
### OS specific
###
# OS = linux
OS = windows
###
### PATH Specific
###
TMPPATH = C:\temp_client
STOREPATH = C:\store_client
###
### Extern Programms
###
RAR = L:\Easyspider\Version1\tools\rar.exe
UNCOMPRESS = L:\Easyspider\Version1\tools\unrar.exe
XLSTOHTML = L:\Easyspider\Version1\tools\xlstohtml.exe
PPTTOHTML = L:\Easyspider\Version1\tools\ppttohtml.exe
PDFTOHTML = L:\Easyspider\Version1\tools\pdftohtml.exe
DOCTOTXT = L:\Easyspider\Version1\tools\antiword.exe
RTFTOHTML = L:\Easyspider\Version1\tools\rtftohtml.exe
###
### SERVER Specific
###
EASYSERVER = localhost
TIMEOUT = 100
USERAGENT = Easy-Spider.de / Version 1.0
USEROBOTSTXT = 1
##
## PROXY SUPPORT
##
USEPROXY = 0
PROXYURL = http://yourproxy.com
PROXYUSER = user
PROXYPASS = password
####################################################
############ Easyspider Configuration ##############
####################################################
###### Zukünftige Optionen - Clientseitig ##########
#
# WORKING_TIME = 100 / in Minuten
####################################################
#################### TODO ##########################
#
# - Client/Server machen detailierte angaben zu ihrem arbeitsverhalten
#
##################
#
# TEMPORÄRER STUFF AB HIER
#
##################
####################################################
####################################################
# temporäre einträge stehen hier - alles unwichtig - hier nix dran ändern -> Änderungen habe KEINE auswirkungen
# TMPPATH = /tmp
# STOREPATH = /tmp/Easyspider
# PDFTOHTML = /home/minoc16/mx1-3/senger/Easyspider/tools/pdftohtml
# DOCTOTXT = /home/minoc16/mx1-3/senger/Easyspider/tools/antiword
# XLSTOHTML = /home/thecerial/tools/xlstohtml
# PPTTOHTML = /home/thecerial/tools/ppttohtml
# RTFTOHTML = /home/thecerial/tools/rtftohtml
# OUTPUTFORMAT = xml
# CRAWLPAGES = 10
# STARTURL = http://localhost/