Zararlı, oltalama (phishing) ve şüpheli bağlantıları tespit etmek amacıyla geliştirilmiş Makine Öğrenmesi / Derin Öğrenme tabanlı Zararlı URL Tespit Sistemi. Bu proje; veri ön işleme, model eğitimi, model test adımları ve eğitilen modelin gerçek zamanlı olarak sorgulanabileceği bir Flask RESTful API servisinden oluşur.
- Genel Bakış
- Özellikler
- Proje Mimarisi & Dosya Yapısı
- Kurulum
- Kullanım Adımları
- API Uç Noktaları
- Kullanılan Teknolojiler
- Katkıda Bulunma
- Lisans
Siber güvenlikte kullanıcıları tehdit eden en yaygın vektörlerden biri kötü amaçlı bağlantılardır. Bu proje:
- Güvenli ve zararlı URL'leri etiketlenmiş veri setleri (
mix_labels.csv) üzerinden analiz eder. - Metin işleme / öznitelik çıkarımı yöntemlerini kullanarak Keras/TensorFlow tabanlı bir sınıflandırma modeli (
new_model.keras) eğitir. - Eğitilen modeli harici uygulamalara, tarayıcı eklentilerine veya güvenlik duvarlarına entegre edilebilmesi için hafif bir Flask REST API üzerinden servis eder.
- Veri Manipülasyonu & Analiz:
pandasile veri setini temizleme, sınıfları dengeleme ve etiketleme. - Derin Öğrenme / ML Modeli: Yüksek doğrulukla zararlı ve güvenli URL'leri ayırt edebilen Keras tabanlı derin öğrenme mimarisi.
- RESTful Entegrasyon: Gerçek zamanlı URL denetimi sağlayan Flask API.
- Test ve Doğrulama: Test komut dosyası ile model başarımını ve örnek URL tahminlerini hızla değerlendirebilme imkânı.
malicious_url/
├── mix_labels.csv # Etiketlenmiş eğitim ve test veri seti (URL & Label)
├── pandas_framework.py # Veri analizi, temizleme ve veri çerçevesi işlemleri
├── label.py # URL etiketleme ve veri dönüşüm fonksiyonları
├── machine_learning.py # Model mimarisi tanımlama, derleme ve eğitim (Training)
├── new_model.keras # Eğitilmiş ve serileştirilmiş Keras modeli
├── test_model.py # Eğitilen modelin metrik ve örnek URL testleri
├── f_restapi.py # Tahmin isteklerini karşılayan Flask REST API servisi
└── README.md # Proje dokümantasyonu
Projeyi yerel ortamınızda çalıştırmak için aşağıdaki adımları takip edin:
git clone [https://github.com/beyza-ozben/malicious_url.git](https://github.com/beyza-ozben/malicious_url.git)
cd malicious_url# Sanal ortam oluşturma
python3 -m venv venv
# Linux / macOS:
source venv/bin/activate
# Windows:
venv\Scripts\activatepip install --upgrade pip
pip install tensorflow keras pandas flask scikit-learn numpyVeri setini (mix_labels.csv) incelemek, temizlemek ve model için hazır hale getirmek için:
python pandas_framework.pyYeni bir model eğitmek ve ağırlıkları new_model.keras olarak kaydetmek için:
python machine_learning.pyEğitilen modelin doğruluğunu test etmek ve örnek linkler üzerindeki performansını görmek için:
python test_model.pyModeli HTTP üzerinden tahmin yapabilir hale getiren Flask sunucusunu ayağa kaldırmak için:
python f_restapi.pySunucu varsayılan olarak http://127.0.0.1:5000 adresinde çalışacaktır.
- URL:
/predict - Metot:
POST - Headers:
Content-Type: application/json
curl -X POST [http://127.0.0.1:5000/predict](http://127.0.0.1:5000/predict) \
-H "Content-Type: application/json" \
-d '{"url": "[http://suspicious-banking-login.com](http://suspicious-banking-login.com)"}'{
"url": "[http://suspicious-banking-login.com](http://suspicious-banking-login.com)",
"prediction": "Malicious",
"confidence": 0.962
}- Programlama Dili: Python 3.x
- Derin Öğrenme / Makine Öğrenmesi: TensorFlow, Keras, Scikit-learn
- Veri Analizi: Pandas, NumPy
- API Servisi: Flask
Katkı sağlamak isterseniz:
- Depoyu fork'layın (
Forkbutonu). - Yeni bir özellik dalı oluşturun (
git checkout -b feature/YeniOzellik). - Değişikliklerinizi commit edin (
git commit -m 'Yeni bir özellik eklendi'). - Dalınızı uzak depoya gönderin (
git push origin feature/YeniOzellik). - Bir Pull Request açın.
Bu proje MIT Lisansı kapsamında lisanslanmıştır. Detaylar için lisans dosyasına göz atabilirsiniz.