Merhaba, Ziyaretçi. Lütfen giriş yapın veya üye olun.

Kullanıcı adınızı, parolanızı ve aktif kalma süresini giriniz

  Gelişmiş Arama
insanın içinde varsa, commodore.gen.tr açığa çıkarır bunu.. bir nevi retro olaylarının dolunayıyız.(Arda)
commodore.gen.trGenel KategoriGenel SohbetYaCy Arama Motoru ve Forum Üyelerinin Web Sitelerini İndeksleme
Sayfa: [1]   Aşağı git
Yazdır
Gönderen Konu: YaCy Arama Motoru ve Forum Üyelerinin Web Sitelerini İndeksleme  (Okunma Sayısı 8089 defa)
0 Üye ve 1 Ziyaretçi konuyu incelemekte.
ilkerficicilar
Uzman
*****
Mesaj Sayısı: 1.122


Üyelik Bilgileri WWW
« : Mart 08, 2017, 20:21:28 ÖS »

YaCy adlı gayri-merkezi bir arama motoru var: http://yacy.de/

Buna, forum üyelerinin web sitelerini ekleteyim dedim ve şu iki konu başlığından

http://www.commodore.gen.tr/forum/index.php?topic=3473.0
,
http://www.commodore.gen.tr/forum/index.php?topic=13870.msg164596#new

topladıklarımı indeksle dedim:

http://27oaltintop.blogcu.com
http://alametifarika.tumblr.com
http://alperocak.blogspot.com.tr
http://bitpazari.forums-free.com
http://bizdopus.blogspot.com
http://booksgames.blogspot.com.tr
http://cbm.ficicilar.name.tr
http://emir.akaydin.com
http://erdemozkir.weebly.com
http://knighteen87.tumblr.com
http://newbiephilatelist.blogspot.com.tr
http://oyunlaboratuvari.blogspot.com.tr
http://retrobilgisayar.blogspot.com.tr
http://retrocu.blogspot.com
http://retromiga.blogspot.com
http://sarispostcards.blogspot.com.tr
http://sundaypicker.tumblr.com
http://tozbit.blogspot.com
http://truvalinux.blogspot.com
http://wiicrazy.tepetaklak.com
http://www.amstradcpc.com/blog
http://www.ayaktakimi.org
http://www.bilgisayarmuzesi.com/blog/
http://www.e-turay.com
http://www.gokhansonmez.com
http://www.hburda.com
http://www.kaynakbilgisayar.tr.gg
http://www.klasiknotlari.com
http://www.kubikyapi.com
http://www.merlininkazani.com
http://www.muratcileli.com
http://www.paradeposu.com
http://www.reocities.com/hollywood/set/3436/
http://www.reocities.com/SiliconValley/Vista/5666/
http://www.retrodergi.com
http://www.sinefx.com
http://www.superkahraman.com
http://www.tepetaklak.com
http://www.trgamer.com/Haber/amiga-efsanesi-geri-donuyor/1/1635.trg
http://www.truvalinux.org.tr
http://www.wiidewii.com

YaCy arama motoru kendi bilgisayarlarımızda çalışıyor gibi görünse de aslında diğer Yacy'lerle birlikte ortak çalışıyor. Programı şurada: YaCy: http://yacy.de/en/index.html

Kurulumu basit: Sadece indirip run diyoruz, köşesine kuruluyor... Meraklısı için bol miktarda ince ayarı var elbette.

Kullanmak için browser içinden http://localhost:8090/ adresine giriyoruz... Ayrıca networkteki diğer bilgisayarlar da kullanabiliyor. İlgili makine adresini vermek yeterli. Ayrıca, güvenlik duvarınızda NAT yönlendirmesini ayarlarsanız tüm dünyaya da açabiliyorsunuz arama motorunuzu. Cepten de kullanılabiliyor. Bugün, cepten ve İntranet değil İnternet üzerinden uzaktan denedim. Hiç fena değil.

Yalnızca bazen -yani sonuçlar yeterli sayıda olmadığında- biraz yavaş, ama kendi indeksimizi oluşturabilme özelliği bunu affettiriyor.


Yukarıdaki gibi linkleri topluca indeskletmek için Administration -> Advanced Crawler menüsüne giriyor ve ilgili boşluğa linkleri boca edip en aşağıdan Start New Crawl diyoruz ve sitelerimiz indeksleniyor.

Bu arama motorcuğu P2P altyapılı. Her makine büyük resmin küçük bir parçasını barındırıyor... Kullanıldıkça hızlanıyor, hızlandıkça kullanılıyor (yani umarım).

Yaklaşık bir yıldır default arama motoru olarak https://duckduckgo.com/ kullanıyordum ve çoğunlukla memnundum... Bugünden itibaren, bir başka makineye yacy'yi kurup bıraktım, ve default olarak o IP'deki yacy'yi ayarladım ( http://192.168.X.Y:8090/yacysearch.html?query=%s ) . Getirdiği sonuçlar şimdilik hiç yeterli değil, ama bakalım sık kullandığım siteleri indekslettiikçe düzelecek diye umuyorum...

Fantezi severlere önerilir!.. Ayrıca, web siteniz yukarıdaki linkler arasında yer almıyorsa indeskletmem için http://www.commodore.gen.tr/forum/index.php?topic=3473.0 adresindeki konu başlığına eklemeniz yeterli.




* cgtr-yacy.png (130.37 KB, 1255x889 - Görüntüleme: 1504 kez.)
« Son Düzenleme: Mart 08, 2017, 20:24:43 ÖS Gönderen: ilkerficicilar » Logged

http://cbm.ficicilar.name.tr/ - Commodore Hacking
toddler
Uzman
*****
Mesaj Sayısı: 1.396



Üyelik Bilgileri
« Yanıtla #1 : Mart 08, 2017, 20:55:37 ÖS »

Evdeki Raspberry'lerden birine bunu kurmak lazım Kahkaha
Logged

C64|C|G|C128|1541U2
A500|A500+|Slim SDHxC|Gotek
A600|FuriaEC020 33MHz+FPU 40Mhz
A1200|BPPC|BVision|64MB Ram|3Com Eth.
A1200|ACA1230/56Mhz 64MB|IndivisionAGA MK2cr|RapidRoad USB|FastATA 1200 MK-V|Netgear MA401
Dingoo A320(OpenDingux)
Pandora(First Batch)
RaspberryPi 1-2-3
BananaPi/Pro
ilkerficicilar
Uzman
*****
Mesaj Sayısı: 1.122


Üyelik Bilgileri WWW
« Yanıtla #2 : Mart 12, 2017, 14:39:51 ÖS »

8 Mart'tan 12 Mart'a kadar şimdilik 225000 kadar sayfa indeksledi. Sanırım commodore.gen.tr'nin büyük bir yüzdesini de indekslemiştir... SSD'de çalışmasına rağmen yavaş mavaş ama denediğim kadarıyla forum'un kendi arama motorundan çok daha başarılı.

Yacy'de indeksler paylaşımlı. Siz de kurarsanız, baştan indeskletmeye ve bir ayar yapmaya gerek kalmadan bu bendeki indeksi kullanabilmeniz mümkün.
Logged

http://cbm.ficicilar.name.tr/ - Commodore Hacking
Murat Çileli
Üye
****
Mesaj Sayısı: 320



Üyelik Bilgileri WWW
« Yanıtla #3 : Mart 12, 2017, 18:06:37 ÖS »

P2P tabanlı bir arama motoru. Harika bir fikir bence.
Logged

i_r_on
Uzman
*****
Mesaj Sayısı: 2.873



Üyelik Bilgileri WWW
« Yanıtla #4 : Mart 13, 2017, 01:29:30 ÖÖ »

Uygulamayı yükledim. konsolu açınca arada akan yazıların arasında ficicilar, e-turay falan gördüm. Dedim İlker indekslemeye devam ediyor
Logged

Every imagination is one's self reflection but not every self reflection is imagination. <I.R.on - 2001>

twitter | blog
ilkerficicilar
Uzman
*****
Mesaj Sayısı: 1.122


Üyelik Bilgileri WWW
« Yanıtla #5 : Mart 13, 2017, 08:41:41 ÖÖ »

Yakalandık... 279bin kadar sayfa indekslemiş 13.03.2017 08:30 itibariyle... İçinde neler neler yok ki.


IRQhack64 diye aratıyorum, pat diye geliyor mesela forumun en derinindeki yazılar.

Commodore hacking diyorum, yıllar öncesinin en güzel kurcalama yazıları geliyor.

Megaone, e tabii ki. SD2IEC, buyrunn, Amiga turbo, hemmen...

Ne aratsam, "başka ne getiriiim abime" der gibi bakıyor artık kerata
Logged

http://cbm.ficicilar.name.tr/ - Commodore Hacking
ilkerficicilar
Uzman
*****
Mesaj Sayısı: 1.122


Üyelik Bilgileri WWW
« Yanıtla #6 : Mart 19, 2017, 10:26:01 ÖÖ »

500 bin'e dalya dedik...

Ayarlardan, indeksletirken IP'sine bakıp TR domain'indekileri indeksle demiştim. Ayrıca, bir scriptle başka arama motorlarında arama yaptırtıp url'sinde tr geçenleri IP'sine bakmadan indekslemesi için de vermiştim kerataya.

Bu arada kara liste özelliği var. Bir kelime listesi verip malum sakıncalıları oyun dışı bırakabiliyoruz.

Şimdiiii, indeksim indeksiniz Siz hiçbir web sayfa indeksleme görevi vermeden, hatta YaCy'nizi dışarıya açmadan da bu 500bin küsur retro ağırlıklı sayfada arama yapmak için YaCy'yi kurup kullanmanız yeterli. Başlarda biraz ağır, ama motoru ısındıkça (Distributed Hash Table güncellendikçe) hızlanıyor.

Bir ek güzellik olarak, Ranking and Heuristics ayar kısmından RWI Ranking Configuration sayfasına (http://192.168....:8090/RankingRWI_p.html) geçer ve orada da Preferred Language ayarını default 2 yerine epeyi sağa çekerseniz, Türkçe sayfalara daha fazla öncelik tanıyabiliyorsunuz.

Türkçe dışı aramalar içinse https://cbm8bit.com/8bit/commodore/search çok işe yarıyor.

Logged

http://cbm.ficicilar.name.tr/ - Commodore Hacking
ilkerficicilar
Uzman
*****
Mesaj Sayısı: 1.122


Üyelik Bilgileri WWW
« Yanıtla #7 : Ağustos 02, 2018, 09:35:03 ÖÖ »

İndeks şişince yeterince performans alamıyorum diye Yacy'yi rafa kaldırmıştım. ABD yaptırımları, Dolar, vs. derken ulusal damarım kabarınca yine kurdum, bu kez iki SSD'ye... Daha önce neden yapmadıysam, ciddi fark etti data ve cache ayrı SSD'de olunca.

Yacy P2P mimarisinde bir arama motoru. Tek yapmanız gereken indirip çalıştırmak.

Ardından tarayıcıda http://localhost:8090/ adresini açarak kullanabiliyor, arama tarama yapabiliyorsunuz.

İndekslemeye sıfırdan başladım. Yavaş yavaş CGTR ve yukarıda listelediğim siteler arama sonuçlarında belirmeye başlar.

« Son Düzenleme: Ağustos 02, 2018, 09:37:31 ÖÖ Gönderen: ilkerficicilar » Logged

http://cbm.ficicilar.name.tr/ - Commodore Hacking
i_r_on
Uzman
*****
Mesaj Sayısı: 2.873



Üyelik Bilgileri WWW
« Yanıtla #8 : Ağustos 02, 2018, 17:46:32 ÖS »

@ilkerficicilar : 6 degrees of separation web için de söz konusu mu? dünyadaki tüm sitelere ulaşmak için toplam kaç siteyi başlangıçta indekslemek gerekiyor?
Logged

Every imagination is one's self reflection but not every self reflection is imagination. <I.R.on - 2001>

twitter | blog
ibeser (Ayak Takımı)
Deneyimli
*****
Mesaj Sayısı: 2.412


Sega<Nintendo<Amiga


Üyelik Bilgileri WWW
« Yanıtla #9 : Ağustos 20, 2018, 11:28:18 ÖÖ »

Uygulamanın sayfasında yeller esiyor. Proje durdu mu? Durum nedir?
Logged

ilkerficicilar
Uzman
*****
Mesaj Sayısı: 1.122


Üyelik Bilgileri WWW
« Yanıtla #10 : Ağustos 20, 2018, 14:39:14 ÖS »

@ibeser: Yacy'nin sitesi: https://yacy.net/en/index.html

@i_r_on: CGTR'yi indekslemekten başlamak yeterli tüm dünyaya ulaşmak için
Logged

http://cbm.ficicilar.name.tr/ - Commodore Hacking
Oğuzhan
Genel Yönetici
*****
Mesaj Sayısı: 5.153


There's no place like 127.0.0.1


Üyelik Bilgileri
« Yanıtla #11 : Ağustos 20, 2018, 17:34:00 ÖS »

dünyadaki tüm sitelere ulaşmak için toplam kaç siteyi başlangıçta indekslemek gerekiyor?

Konya belediyesinin sitesini indeksle yeter.

Ne demişler, gez dünyayı gör konyayı 😂
Logged

Amiga 500/500+/1200/4000
Commodore 64
Atari 1040STe/Falcon 030/Jaguar/2600
Roland MT-32 Rev.A&B/SC-88
Sony PS 1-2-3-4-5/PSP/PVM 9"/TV 9"/TV 11"
Sega SMS2FR/MD1FR/MD1JP/MD2/Saturn/Dreamcast/GG
Nintendo NES/SNES/DMG/GBC/GBP/GBA/GBASP
muhendis
Ziyaretçi
« Yanıtla #12 : Ağustos 20, 2018, 18:09:03 ÖS »

uygulama win10 kurulum anında kilitlendi neden acep ? iki defa kurmaya çalıştım olmadı
« Son Düzenleme: Ağustos 20, 2018, 18:10:38 ÖS Gönderen: muhendis » Logged
Sayfa: [1]   Yukarı git
Yazdır
Gitmek istediğiniz yer: