doc-scraper: LLM'ler için yerel belge bağlamı oluşturan Go tarayıcısı
doc-scraper, Sriram PR tarafından, teknik web sitesi belgelerini toplar ve bunları AI destekli iş akışları için hazırlar. Uygulama, belgeleri tarar ve geliştiriciler ve AI araştırmacıları için model bağlamı olarak kullanılmak üzere optimize edilmiş okunabilir içerik çıkarır. Temiz, aranabilir çıktı ve yerel bir bilgi deposuna vurgu yapar, böylece editör tabanlı asistanlar, istem oluşturma sırasında gürültülü web sayfalarını çekmeden ilgili referans materyallere erişebilir.
Site HTML'sini model bağlamı için yapılandırılmış Markdown'a dönüştürür
Bu araç, belgeleri HTML'den yapılandırılmış Markdown'a dönüştüren Go tabanlı bir tarayıcıdır; gezinme çubuklarını, alt bilgileri ve diğer içerik dışı unsurları kaldırır. Dönüşüm, başlıkları ve satır içi kodu korurken metin gürültüsünü azaltır, böylece temiz başlıklar ve bağlantılar aracılığıyla gezinme bağlamını koruyan kompakt metin dosyaları üretir; bu da aşağı akış model iş akışları tarafından daha kolay erişim ve referans sağlar.
Aranabilirlik ve değişiklik tespiti, metni güvenilir hale getirir
Uygulama, internet erişimi olmadan taranan metin üzerinde yerel sorgular yapmayı sağlayan SQLite FTS5 aracılığıyla uygulanmış bir çevrimdışı BM25 araması gömülü olarak sunar. BadgerDB ve SQLite ile durum kalıcılığı, devam edilebilir işlemleri ve bir tarih dizinini destekler. İçerik farkı mekanizması, yalnızca zaman damgalarına dayanmak yerine gerçek sayfa değişikliklerini tanımlar; bu da gereksiz indirmeleri azaltır ve yerel metni önemli düzenlemelere odaklanmış tutar.
Girdi kalıpları ve tarama sınırları, başarısını tanımlar
doc-scraper, Docusaurus, MkDocs, Sphinx, GitBook ve ReadTheDocs gibi belgeleri otomatik olarak tespit eder ve tanıdık olmayan sitelerde okunabilirlik tabanlı bir çıkarıcı kullanır. Tarama, paylaşılan kaynak yönetimi ve yerleşik hız sınırlaması ile paralel olarak çalışır ve tarayıcı, nazik kalmak için robots.txt'ye saygı gösterir. Bu sınırlar, aşırı ağ yükünden kaçınırken geliştirici ile ilgili içeriği çıkarmayı önceliklendirir.
Yerel MCP barındırma, editör merkezli AI iş akışlarına ve gizlilik ihtiyaçlarına uygundur
Sunucu modunda çalıştırıldığında, uygulama, yerel AI ajanlarının editörler içinde belgeleri okuyup arayabilmesi için Model Bağlam Protokolü sunucusu olarak hareket eder. Yerel, çevrimdışı bilgi tabanı tasarımı, Claude Desktop, Claude Code ve Cursor gibi ajanlara aranabilir belgeleri sunarak uzaktan erişime olan bağımlılığı azaltır. Araç, diğer tarayıcıların zorlandığı sitelerde temiz çıktı üretmesiyle Go ve AI geliştirici topluluklarında dikkat çekmektedir.
Yerel bağlamı oluşturup barındırabilen teknik olarak yetkin geliştiricilere en uygun
doc-scraper, doğrulanabilir, yerel olarak barındırılan belgeleri model bağlamı olarak ihtiyaç duyan geliştiriciler ve araştırmacılar için pratik bir seçenektir. Araç, Go (sürüm 1.25 veya daha yeni) ile kaynak kodundan inşa edilmesini gerektirdiğinden, teknik olarak yetenekli kullanıcıları tercih eder; Go projelerini derleyemeyen ekiplerin kurulum zorluğu beklemeleri gerekir. Kullanıcılar, otoriter model girdileri olarak kullanmadan önce kazınmış pasajları incelemelidir.
