MongoDB'nin tam metin arama performansýný iyileþtirme yöntemi

MongoDB'de kullanýlan B-Tree tabanlý metin dizinleri, ters çevrilmiþ dizinler gibi farklý yapýlara kýyasla yavaþtýr. Bu çalýþmada, metindeki her farklý kelimenin yalnýzca bir kez yer aldýðý bir yapý indekslenerek tam metin arama hýzýnýn önemli ölçüde artýrýlabileceði gösterilmiþtir. Daha önceki çalýþmalarýmýzda geliþtirilen Çok Akýþlý Kelime Tabanlý Sýkýþtýrma Algoritmasý (MWCA), kelime sözlüklerini ve verileri farklý akýþlarda saklar. Belgeler bir MongoDB koleksiyonuna eklenirken MWCA ile kodlanmýþ ve altý farklý akýþa ayrýlmýþtýr. Her akýþ farklý bir alan ismi ile saklanmýþ ve bunlardan benzersiz kelimeler içeren üçü metin dizini oluþturulurken kullanýlmýþtýr. Bu sayede indeks daha kýsa sürede oluþturulabilmiþ ve daha az yer kaplamýþtýr. MongoDB‘de kullanýlan Snappy ve Zlib blok sýkýþtýrma yöntemlerinin MWCA ile kodlanan veriler üzerinde daha yüksek sýkýþtýrma oranlarýna ulaþtýðý da görülmüþtür. Farklý yöntemler ile sýkýþtýrýlan koleksiyonlar üzerinde oluþturulan metin dizinlerinde yapýlan arama testleri, yöntemimizin 19 ila 146 kat hýz artýþý ve %34 ila %40 daha az bellek kullanýmý saðladýðýný göstermiþtir. Metin dizinini kullanmayan regex aramalarý ile ilgili testler de MWCA modelinin 7 ila 13 kat hýz artýþý ve %29 ila %34 daha az bellek kullanýmý saðladýðýný göstermiþtir.

A method to improve full-text search performance of MongoDB

B-Tree based text indexes used in MongoDB are slow compared to different structures such as inverted indexes. In this study, it has been shown that the full-text search speed can be increased significantly by indexing a structure in which each different word in the text is included only once. The Multi-Stream Word-Based Compression Algorithm (MWCA), developed in our previous work, stores word dictionaries and data in different streams. While adding the documents to a MongoDB collection, they were encoded with MWCA and separated into six different streams. Each stream was stored in a different field, and three of them containing unique words were used when creating a text index. In this way, the index could be created in a shorter time and took up less space. It was also seen that Snappy and Zlib block compression methods used by MongoDB reached higher compression ratios on data encoded with MWCA. Search tests on text indexes created on collections using different compression options shows that our method provides 19 to 146 times speed increase and 34% to 40% less memory usage. Tests on regex searches that do not use the text index also shows that the MWCA model provides 7 to 13 times speed increase and 29% to 34% less memory usage.