10 клас

Тема 4: Технологія пошуку інформації засобами мережі Інтернет: пошукові системи Інтернету.

За століття, що пройшли з часу винаходу книг, людство придумало тільки три основні способи пошуку інформації в книгах із великою кількістю сторінок. І кожен із нас зустрічався з ними ще до свого першого виходу в Інтернет. Це пошук за допомогою змісту, посилань і предметного покажчика. Виявляється, в Інтернеті використовуються ці ж способи для пошуку потрібної сторінки, тільки вони автоматизовані й виконуються спеціальними програмами. Розглянемо кожен із цих способів.

1. Способи пошуку інформації.

1.1. Каталоги

Перший спосіб пошуку інформації в книзі — це пошук за допомогою змісту. Бажаючи знайти інформацію, що нас цікавить, ми, в першу чергу, звертаємося саме до нього. Це найбільш природний спосіб пошуку потрібної сторінки. Ви чудово знаєте, як користуватися змістом у книзі. Ви його переглядаєте, знаходите потрібну главу, номер сторінки й розгортаєте книгу в потрібному місці.В Інтернеті цьому способу пошуку відповідаютькаталоги. Це один із найстаріших сервісів Інтернету. У середині 1990-х років саме каталоги були основним способом упорядкування інформації в Інтернеті. У каталогах утримується набір посилань на сайти з їхнім коротким описом. Сторінки (сайти) усередині каталогу розташовані за темами (рубриками), а всередині тем вони ранжовані або за індексом цитування, або за датою додавання, або за алфавітом, або за іншим параметром. Залежно від широти тематики посилань каталоги можуть бути загальними й спеціалізованими(тематичними). На сьогодні найбільш популярний Інтернет-каталог – Yahoo!

Процес пошуку інформації за допомогою каталогів виглядає так:

♦  користувач послідовно переглядає зміст каталогу;

♦  вибирає потрібну рубрику;

♦  переглядає сайти, що стосуються цієї рубрики;

♦  переходить на потрібний сайт або сторінку.

1.2. Посилання

Другий звичний для нас спосіб пошуку — це використання посилань у тексті на потрібні сторінки книги. При посиланні на яку-небудь сторінку (наприклад с. 24) читач повинен розгорнути зазначену сторінку 24 і знайти в її тексті той фрагмент, який його цікавить. В Інтернеті механізм посилань зі сторінки на сторінку перетворили в автоматичні посилання, на які користувач просто клацає мишкою. Посилання в Інтернеті називаються гіпертекстовими посланнями (префікс «гіпер» означає, що посилання веде за межі тексту, на іншу сторінку). З роботою з гіперпосиланнями ви вже познайомилися на попередньому уроці.

Посилання — це основний, «кореневий» принцип Інтернету, але ж по суті це стара ідея, просто автоматизоване текстове посилання. Посилання в каталогах і на звичайних сайтах можуть розставлятися автоматично при формуванні Web-сторінки, але найчастіше їх розставляють вручну - Web-майстер розмічає спеціальними позначками фрагмент тексту і приєднує до нього адресу відповідної сторінки.

1.3. Пошукові покажчики (ключові слова)

Третій, найшвидший і найефективніший спосіб пошуку потрібної інформації — скористатися алфавітним списком найбільш важливих термінів, так званим предметним покажчиком. Такі предметні покажчики містяться в кінці книги. Ви часто зустрічали його в підручниках, у наукових і технічних виданнях. У ньому перераховуються важливі для даної книги терміни (ключові слова) і вказуються номери сторінок, на яких ці терміни зустрічаються. Саме ця ідея пошуку інформації за ключовими словами, зібраними в предметному покажчику, стала основою для створення пошукових систем, або Інтернет-пошуковиків.       

2. Пошукові системи.

Пошукова система — це Web-сайт, що надає можливість пошуку інформації в Інтернеті. Можна сказати, що користувач, який уводить запит у пошукову систему, звертається до предметного покажчика (списку всіх ключових слів) Інтернету із вказівкою сторінок, на яких ці слова зустрічаються. Як правило, основною частиною пошукової системи є пошукова машина (англ. search engine). Це комплекс програм, який забезпечує функціонування пошукової системи.

Пошукова машина має ряд користувальницьких характеристик:

♦  релевантність (ступінь відповідності знайденої інформації запиту; доречність результату);

♦  повнота бази (чим ширши область пошуку, тим краще);

♦  швидкість пошуку;

♦  актуальність посилань;

♦ додаткові можливості (пошук подібних документів, обмеження області пошуку). Основними критеріями якості роботи пошукової машини є релевантність і повнота бази.

  Це цікаво 

Одним із перших інструментів пошуку в Інтернеті (до WWW) був Archie. Першою пошуковою системою для Всесвітньої павутини був індекс Wandex, який вже не існує, розроблений Метью Ґреєм із Массачусетського технологічного інституту в 1993 р. Також у 1993 р. з'явилася пошукова система Аliweb, що працює дотепер. Пошукова система WebCrawler, запущена в 1994 році, дозволяла користувачам шукати за будь-якими ключовими словами на будь-якій Web-сторінці. З того часу це стало стандартом для всіх основних пошукових систем. Крім того, це був перший пошуковик, що зазнав всесвітньої популярності.

Сучасні пошукові системи використовують у своїй роботі певний алгоритм пошуку інформації. Алгоритм пошуку - це точна вказівка пошуковій машині зробити певну послідовність дій, урахувати певні фактори для досягнення найбільш релевантної видачі за кінцеве число кроків. Алгоритм пошукових систем постійно вдосконалюється для поліпшення релевантності результатів пошуку. У наш час на території країн СНД найбільш популярні пошукові системи Google, Яндекс, Rembler та ін. В Україні працює україномовна пошукова система МЕТА.

Картка 1

Лідер пошукових машин Інтернету Google (США) охоплює понад 60 % світового ринку, а це значить, що 6 із 10 людей, що є в мережі, звертаються до нього при пошуках інформації в Інтернеті. На сьогоднішній деньGoogle реєструє щодня близько 50 млн. пошукових запитів та індексує понад 8 млрд. Web-сторінок. Googleможе знаходити інформацію на 117 мовах.   Засновники компанії - Сергій Брін і Леррі Пейдж. КомпаніяGoogle була заснована 4 вересня 1998 року.  

 Завдяки своїм технологічним інноваціям, Google став власником безлічі нагород, включаючи приз «Голос народу» за кращі технічні досягнення й нагороду «Краща пошукова система в Інтернеті» від Yahoo!InternetLife. Google завоював приз за «Технічну досконалість» журналу РС і «Краща пошукова машина» журналу TheNet. Велика кількість компаній використовують пошукові технології Google на своїх  Web-сайтах.

Це цікаво 

♦Вид мадагаскарських мурах Proceratium google був названий на честь сервісу Google Earth, який допоміг ученому в його дослідженнях.

♦ В одній із серій популярного японського аніме-серіалу Death Note головний герой Ягамі Лайт користується пошуковою системою Gentle, дизайн якої повністю повторює дизайн Google.

Картка 2

На території пострадянського простору є аналогічні приклади успішних розробок пошукових систем.

 Компанія «Яндекс» (Росія) - одна з найуспішніших у галузі інформаційних технологій. Яндекс - російська ІТ-компанія, що володіє однойменною системою пошуку в мережі й інтернет-порталом. Пошукова система Яндекс є дев'ятим серед найбільших пошукових сайтів світу: за кількістю оброблених пошукових запитів (566 млн.) і другим найбільшим неангломовним пошуковим сервером (після китайського). Офіційно пошукова машина Yndex.ru була анонсована 23 вересня 1997року на виставці Softool. Через два місяці, у листопаді 1997 року, був реалізований природно-мовний запит. Тепер до Yndex.ru можна звертатися просто по-російськи, ставити довгі запити, наприклад: «де купити комп'ютер», «генетично модифіковані продукти» або «коди міжнародного телефоннго зв'язку» — і одержувати точні відповіді. Середня довжина запиту в Yndex.ru зараз — 2,7 слова. В 1997 році вона становила 1,2 слова, тоді користувачі пошукових машин були привчені до телеграфного стилю. В 1998 році на Yndex.ru з'явилася можливість «знайти схожий документ», список знайдених серверів, пошук у заданому діапазоні дат і сортування результатів пошуку за часом останньої зміни. За цей рік «обсяг» Рунету (російськомовного Інтернету) подвоївся, що призвело до необхідності оптимізації пошукових механізмів. І тоді, і зараз швидкість пошуку на Yndex - секунди. За 1999 рік Рунет виріс на порядок як в обсягах текстів, так і в кількості користувачів. Це був рік бурхливого розвитку й дляYndex.ru. Новий пошуковий робот дозволив оптимізувати й прискорити огляд сайтів Рунету. Сьогодні пошукова база Yndex.ru удвічі більша, ніж у найближчих конкурентів.  Головний офіс компанії розташований у Москві. У компанії є офіси в Санкт-Петербурзі, Єкатеринбурзі, Одесі й Києві. У 2008 році компанія оголосила про відкриття Yndex Labs— відділення компанії в Каліфорнії (США). Пошук Яндекса дозволяє шукати по Рунету документи російською, українською, білоруською, румунcькою, англійською, німецькою та французькою мовами.

 Це цікаво

♦  Першим масштабним гаслом, запущеним «Яндексом», є фраза «Знайдеться все!», і після паузи випливало додавання: «...згодом». Сам вираз швидко став крилатим. Друга частина слогана видається пошуковиком, якщо за запитом нічого не було знайдено.

♦  Звідки з'явилося слово «Яндекс»? Саме слово «Яндекс» — штучне. Воно має своїх авторів і свою історію. В 1993 році Аркадій Волож, майбутній генеральний директор компанії «Яндекс», та Ілля Сегалович, майбутній директор із технологій, розробляли, як потім з'ясувалося, головну технологію — пошук неструктурованої інформації з урахуванням російської мови. Розробку треба було якось назвати. Ілля пам'ятає, як виписував стовпчиком різні похідні від слів, що описують зміст технології. Досить швидко стало зрозуміло, що search(«пошук») по-російському звучить занадто неблагозвучно і вдалої комбінації на його основі не зробиш. Словоindex підходило більше. Так у списку назв з'явився yaindex — yet another indexer («ще один індексатор» або Мовний індекс). Варіант сподобався — легко вимовляється, легко пишеться. Крім цього, вирішили букву «Я» у назві — специфічно російську — залишити, для наочності. Так було винайдене слово «Яндекс».

Картка 3

Пошукова система Рамблер (Rambler) разом з Яндексом займає чільні позиції в пошуку по Рунету. Це одна з найстарших пошукових систем у Росії. Як і багато систем такого класу, Рамблер — це не тільки пошук в Інтернеті. Рамблер — ціла мережа інформаційно-розважальних ресурсів. Рейтинг сайтів Тор-100, пошта, новини, словники, фотографії, погода, ігри, знайомства й багато іншого. Зародження Рамблера почалося з 1991 році в підмосковному містечку Пущино. Інтернет у ті роки в Росії тільки почав свій розвиток. Багато хто навіть і не підозрював про його існування, як би це смішно зараз не звучало. Саме в ці роки й з'явився колектив активних людей, які були зацікавлені цим новими для нас явищем. Працювали вони в Інституті біохімії й фізіології мікроорганізмів РАН. Ось їхні імена: Дмитро Гаків, Сергій Лисаков, Віктор Воронков, Володимир Самойлов, Юрій Єршов. Спочатку проект був розрахований на чисто наукові цілі, тобто для швидшого й надійнішого обміну технічною й науковою інформацією. Засновники створили в Пущино локальну мережу, з'єднали її з московською, а далі вже з Інтернетом. Складності цього заходу ви можете собі усвідомити, якщо уявите життя в Росії на початку 90-х років. Розвал СРСР, повна розруха в економіці й у науці, обвал цін і політичні катаклізми. Але, незважаючи на це, проект все-таки запрацював. Спочатку були створені ftp. i mail. сервери, а потім уже й www. сервер. Але все-таки справжнім становленням Rambler як пошукової системи можна вважати 1996 рік. Саме в цей час почалася розробка й створення пошукового сервера.Після проходження необхідних тестів і експериментів 8 жовтня 1996 року Rambler запрацювала як пошукова система. Почалася нова ера в розвитку Інтернету в Росії.

 Це цікаво

Звідки взялася назва - Rambler? Придумав її Дмитро Гаків. Точніше, навіть і не придумав, а просто відкрив словник і побачив гарне слово з не менш гарним перекладом (бурлака, мандрівник). Така аналогія цілком доречна, якщо говорити про пошукового робота, що без утоми бродить безмежними просторами iнтернету й збирає необхідну інформацію про всі документи, знайдені ним. На це ім'я й був зареєстрований домен. 

3. Принципи вибору пошукової системи.

Вибір пошукової системи, що найкраще підходить для розв'язання ваших завдань, залежить від того, що ви хочете знайти.

1. Основний об'єкт індексації пошукової системи — тексти. Однак існують пошуковики, що дозволяють робити пошук за картинками, mp3-файлами, архівами програм, новинами тощо. Отже, якщо вам потрібно знайти якийсь товар або картинку, краще скористатися пошуковиками, які надають цю можливість.

Наприклад,

Google News Search здійснює тематичний пошук за новинами;

Google Microsoft Search — тематичний пошук за сайтами, присвяченими Microsoft;

Nigma — пошук за картинками, книгами, музикою;

Muzpoisk — за мр3;

Quintura Kids — інтерактивний візуальний пошук за спеціально відібраними дитячими ресурсами.

2. Варто враховувати також область дії пошукової системи. Серед них розрізняють локальні (обмежені національним доменом, певною мовою) і глобальні пошукові системи. Зазвичай глобальні системи добре покривають американський Інтернет і трохи гірше «знають» іншу частину. Тому, якщо ваш пошук свідомо обмежений країною або мовою, краще користуватися локальним пошуковиком (в Україні — це пошукова система МЕТА). Крім того, більшість «російськомовних» (локальних) пошукових систем шукають тексти багатьма мовами — українською, білоруською, англійською й ін. Відрізняються ж вони від глобальних систем тим, що в основному обмежуються російськомовними сайтами.

Це цікаво   

Інтернет являє собою сукупність комп'ютерних мереж, що містить понад 20 млн баз даних. У них на сьогоднішній день зберігається величезна кількість документів — 10¹². Причому, за деякими оцінками, обсяг Інтернету подвоюється кожні три роки.   Для порівняння: кількість Web-сайтів наприкінці 2006 року — 100 млн. сайтів (половина з них оновлюється), а 10 років тому — тільки 18 тис. Пошук інформації в Інтернеті відбувається за каталогами,  в яких сторінки (сайти Інтернету) розкладені за темами (рубриками), за гіперпосиланнями, за ключовими словами. Ідея пошуку потрібної сторінки за ключовими словами в індексі й стала основною ідеєю, на основі якої створені Інтернет-пошуковики.