Proje · Görüntü işleme

Otocropper: taranmış soru bankalarında soru tespiti ve OCR

Öğretmenler için çevrim dışı çalışan bir Mac uygulaması: taranmış soru bankalarındaki her soruyu ayrı bir görsel olarak kaydeder. Eğitimde kullanılmamış bir kitapta %97,1 duyarlılığa ulaştı.

  • Müşteri Erkan Ulu Okulları
  • Sektör Eğitim
  • Platform macOS, çevrim dışı
  • Geliştiren
  • Durum Kullanımda · sürüm 1.0.4

Otocropper nasıl çalışır

Görsellerde taranmış bir sayfanın dosyalanmış sorulara dönüşmesi, inceleme uygulaması ve eğitimde kullanılmamış kitapla yapılan test yer alıyor. Yayınevi sayfaları bulanıklaştırıldı. Tam boyutta açmak için bir görseli seçin.

Sorun

Soru bankaları taranmış kitaplar olarak geliyor. Öğretmenlerin her soruyu, kitaptaki düzene göre dosyalanmış ayrı bir görsel olarak alması ve bunu kendi Mac'lerinde yapabilmesi gerekiyordu.

Kalabalık sayfalar

Taranmış bir sayfada birkaç soru, paragraf, şekil, yönerge, bölüm başlığı, üst ve alt bilgi ve cevap anahtarı bir arada bulunur.

Kitaptaki gibi dosyalama

Her soru, basılı numarasıyla adlandırılmış ve ünite ile teste göre dosyalanmış ayrı bir görsel olarak çıkmalı.

Öğretmene kurulum yükü yok

Öğretmenlerin Terminal'e, Python'a ya da internet bağlantısına ihtiyacı yok: her şey tek bir uygulamanın içinde çevrim dışı çalışır.

Neler geliştirildi

Eğitilmiş bir tespit modeli ve yerel bir Mac uygulaması; veri etiketlemeden notarize edilmiş sürüme kadar.

Sayfa bölgesi tespit modeli

Yedi sayfa bölgesi türü (soru, paragraf, şekil, yönerge, bölüm başlığı, üst/alt bilgi, cevap anahtarı) için ince ayar yapılmış bir RT-DETRv2 nesne tespit modeli. Eğitimde beş kitaptan oluşan etiketli bir veri kümesinin sayfaları kullanıldı.

Etiketleme hattı

Taslak etiketler bir doğrulama adımından ve FastAPI ile yazılmış bir kutu düzenleyiciden geçti; incelenen etiketler COCO biçiminde eğitim, doğrulama ve test bölümlerine ayrıldı.

Dört geçişli tespit

İki model kontrol noktası (checkpoint) ve üç girdi ölçeği, ağırlıklı kutu birleştirmeyle (weighted box fusion) tek sonuca indirilir. Eşikler doğrulama bölümünde ayarlandı.

Hata analizinden gelen kurallar

Üç son işlem kuralı (mürekkep kontrolü, sağ kenar kırpma, sınıf rekabeti), kalan her hata tek tek gözle incelenerek çıkarıldı; her biri test kitabından önce doğrulama bölümünde ölçüldü.

OCR ile adlandırma

Tesseract soru numaralarını, test ve ünite başlıklarını okur; böylece dışa aktarılan dosyalar basılı kitabı izler: 1.jpg, tam genişlikteki sorular için 4-G.jpg, ortak paragraflı sorular için 7_with_passage.jpg.

Yerel Mac uygulaması

Python 3.13'ü, Apple GPU (MPS) üzerinde çalışan PyTorch'u, Tesseract'ı ve iki model kontrol noktasını içeren bir SwiftUI uygulaması; Developer ID ile imzalandı ve notarize edildi.

%97,1 Eğitimde kullanılmamış 238 sayfalık bir kitapta (554 soru) duyarlılık, IoU ≥ 0,9
%96,9 Aynı kitapta kesinlik, IoU ≥ 0,9
222 / 238 Hiç düzeltme gerektirmeyen test sayfası
6 dk 22 sn 414 sayfalık bir kitabın (1.831 soru) içe aktarmadan incelemeye hazır kırpmalara kadar süresi, M5 Max üzerinde

Test kitabı eğitimde hiç kullanılmadı. Eşikler ve kurallar doğrulama bölümünde seçildi, ardından test kitabı için sabitlendi.

Mühendislik ayrıntıları

Doğrulama bölümünde ölçüldü, modelin hiç görmediği bir kitapla test edildi, öğretmenlerin Mac'lerine yüklendi.

  • Katı puanlama: tahmin edilen bir soru kutusu, ancak referans etiketle IoU ≥ 0,9 olduğunda doğru sayılır.
  • Çok ölçekli birleştirme: tek bir kontrol noktasının üç girdi ölçeğini birleştirmek, tamamen doğru test sayfalarını %90,3'ten %92,0'a çıkardı. Kullanılan tespit modeli, dördüncü geçiş olarak ikinci bir kontrol noktası ekler.
  • Hata analizi kuralları: mürekkep kontrolü 12 yanlış pozitifi, sınıf rekabeti 5 yanlış pozitifi daha kaldırdı; test kitabında hiçbir doğru tespit kaybedilmedi. Sağ kenar kırpma 4 doğru tespit ekledi.
  • Lisansı gözeten model seçimi: YOLO yerine RT-DETRv2. AGPL lisansından kaçınmak için uygulamada Ultralytics ya da DocLayout-YOLO kodu bulunmaz.
  • Cihaz üzerinde çalışma: PyTorch, Apple GPU (MPS) üzerinde tamamen çevrim dışı çalışır.
  • Sürüm disiplini: 1.0.2 sürümünden önce okuldan gelen 20 PDF dosyası (4.813 sayfa) üzerinde denendi. 8 ile 14 Eylül 2026 arasında beş sürüm yayınlandı; son ikisi öğretmenlerin bildirimleri üzerine.

İşlem hattı

EĞİTİM (CUDA iş istasyonu)
+------------------------------+
| beş kitaplık etiketli veri   |
| taslak etiket -> doğrulayıcı |
| FastAPI kutu düzenleyici     |
| COCO eğitim/doğrulama/test   |
| RT-DETRv2 ince ayarı         |
| doğrulamada kalibrasyon      |
+--------------+---------------+
               |
               | ağırlıklar (2 kontrol noktası)
               v
MAC ÜZERİNDE (çevrim dışı)
+------------------------------+
| PDF sayfalarını resme çevir  |
| tespit: 4 geçiş, birleşik    |
| temizlik: 3 kural            |
| Tesseract OCR (Türkçe)       |
| inceleme: SwiftUI uygulaması |
| dışa aktar: ünite/test/1.jpg |
+------------------------------+
Python, PyTorch, Tesseract ve iki model kontrol noktası tek bir uygulamanın içinde gelir.

Teknolojiler

  • RT-DETRv2
  • PyTorch (MPS)
  • Python 3.13
  • Ağırlıklı kutu birleştirme
  • Tesseract OCR
  • FastAPI
  • COCO
  • SwiftUI
  • Developer ID ile notarizasyon

Durum

  1. Ağustos 2026 Veri kümesi, etiketleme ve model eğitimi.
  2. 8 Eylül 2026 1.0.0 sürümü okula teslim edildi.
  3. 9-14 Eylül 2026 1.0.1 ile 1.0.4 arası sürümler; 1.0.3 ve 1.0.4 öğretmenlerin bildirimleri üzerine yayınlandı.
  4. 24 Eylül 2026 Deneme sınavları için ayrı sürüm, 1.0.0.
  5. Bugün Erkan Ulu Okulları'nda öğretmenler kullanıyor (okul uygulaması 1.0.4; deneme sınavı sürümü 1.0.0).

Rol: Veri etiketleme, model eğitimi ve değerlendirme, macOS uygulaması, paketleme ve yayın dahil projenin tek geliştiricisi .

Diğer okullar için: Okullar Otocropper'ı, Stratagem Systems'ın okul yazılımları markası Okul Yazılım Evi'nden edinebilir: okulyazilimevi.com.

Bir modelin ayıklayabileceği belgeleriniz mi var?

Birkaç örnek sayfa gönderin ve istediğiniz çıktıyı anlatın. Özel bir tespit modeli seçeneklerden biridir; bazen OCR ve basit kurallar yeterlidir.