-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathIntroduction.py
37 lines (21 loc) · 2.05 KB
/
Introduction.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# Web kazıma (Web Scraping), internet üzerindeki web sitelerinden veri toplama işlemidir
"""
● Web Sitesinin Kullanım Şartları: Birçok web sitesi, web kazımanın açıkça yasaklandığını belirten bir hizmet
şartları veya kullanım şartlarına sahiptir. Bir web sitesinin hizmet şartları web kazımanın izin verilmediğini açıkça
belirtiyorsa, bu şartlara saygı göstermeli ve bu web sitesini kazımaktan kaçınmalısınız.
● Robots.txt Dosyası: Web siteleri genellikle arama motorlarının ve diğer web kazıyıcıların hangi bölümlerini
taramasına izin verildiğini veya kısıtlandığını iletmek için bir robots.txt dosyası kullanır. Bir web sitesinin
robots.txt dosyasını kontrol ederek kazımanın izin verilip verilmediğini görmelisiniz. (www.example.com/robots.txt)(
www.miuul.com/robots.txt)
● Hukuki Düşünceler: Web kazımanın yasallığı, yargı alanına göre değişebilir. Bazı ülkeler web kazıma ve veri
gizliliği ile ilgili özel yasalara sahiptir. Kullanmak istediğiniz web sitesinin yargı alanı ile kendi yargı
alanınızın hukuki çerçevesini anlamak önemlidir.
● Saygılı ve Etik Kazıma: Kazımanın açıkça yasaklanmadığı durumlarda bile, etik kazıma uygulamak önemlidir. Bir
web sitesinin sunucusunu çok fazla istekle yüklemekten kaçının, çünkü bu Dağıtık Hizmet Reddi (DDoS) saldırısı olarak
kabul edilebilir. Kazıma, web sitesine zarar vermek veya hizmet şartlarını ihlal etmekten kaçınmak için sorumlu bir
şekilde yapılmalıdır.
● Kamuya Açık Veri: Bazı durumlarda, web sitesinin web kazımını açıkça yasaklamadığı ve robots.txt kurallarına
saygı gösterildiği takdirde, kişisel veya ticari olmayan kullanım için kamuya açık verilerin kazılması daha kabul
edilebilir olabilir.
● API'lar: Birçok web sitesi, verilerine yapılandırılmış ve yasal bir şekilde erişmenizi sağlayan Uygulama
Programlama Arayüzleri (API'lar) sunar. API'ları kullanmak genellikle veri çıkarmak için tercih edilen bir yöntemdir."""