Методи нейромережевого розподіленого представлення інформації для вирішення задач штучного інтелекту на основі прецедентів і аналогій

Апроксимація P₀(k) скорегованим біноміальним розподілом має вигляд

P₀(k)=(1+ln(1/(1-))(k/M)(1-)/²)-^1/2C_M^{k k}(1-)^M-^kexp(1/p)Lp²²((k/M-/²/2). (26)

При =0 вона збігається з біноміальним розподілом.

Експериментальне дослідження інформаційних характеристик НРАП проводилося у широкому діапазоні параметрів = {0.05, 0.1, 0.2, 0.3}, N10³ до N10⁵, m_in= {0.1, 0.3, 0.5}. Дослідження не підтвердило прогнозований АОК різкий перехід між умовами відновлення та невідновлення і показало нечіткість цих границь. Тому визначалося значення m_ab(P), що забезпечує деяку фіксовану ймовірність P відновлення кодвектора в пам'яті.

На основі апроксимації експериментальних даних отримано залежності ймовірності відновлення P від , що дозволяє оцінювати параметри, які забезпечують надійне функціонування НРАП. Отримано також залежності _ab від M для різних значень імовірності відновлення P. Показано, що для дослідженої НРАП _ab має максимум при невеликих значеннях N - на відміну від мережі Хопфілда, для якої максимум досягається при N .

Для інтегральної оцінки функціонування НРАП використовувалась характеристика інформаційної ефективності Ef=I_g/N² =P h_in/h(p) - інформація, що припадає на один зв'язок мережі, h_in = ph(q₁) +(1- p)h(q₀), q₁=m_in, q₀ = p(1-m_in)/(1-p). Отримана в результаті досліджень максимальна ефективність НРАП (Ef_max=0.13) лише незначно менша, ніж для мережі Хопфілда з розрідженими кодвекторами (Ef_max=0.20). Але по максимальній удільній ефективності на біт пам'яті НРАП із правилом навчання Вілшоу значно перевершує мережу Хопфілда. Аналітично показано, що розподілена пам'ять може забезпечити більш високу швидкість пошуку (відновлення) найближчого кодвектора, ніж нерозподілена.

У п'ятому розділі розроблено i досліджено методи РП векторної числової інформації.

У п. 5.1 досліджено метод РП виділенням вторинних ознак (розділ 2) RSC (Random Subspace Coding - кодування випадкових підпросторів).

Гіперпрямокутне рецептивне поле кожної з N ознак (нейронів) визначається сукупністю S одномірних рецептивних полів у різних вимірах, номера яких випадково вибираються з А вхідних вимірів. У кожному з одномірних рецептивних полів координати h "верхньої" i l "нижньої" границь (порогів нейронів) обчислюються як h_i,j = x_i,j + g_i,j; l_i,j = x_i,j - g_i,j, де j - номер нейрона, i - номера вимірів, що перевіряються нейроном, x - координата центра поля (вибирається випадково в межах вхідного інтервалу [0,1]); g - довжина кожної напівсторони поля (вибирається випадково в [0,G], можуть бути G>1). Формування кодвектора D=(d) вхідного вектора (точки вхідного простору) d (d_i [0,1], i=1,A) здійснюється обчислювально ефективно: D_j=1 якщо виконується l_i,j d_i h_i,j для всіх s вимірів j-го нейрона i відповідних координат d_i, тобто якщо вхідна точка d належить рецептивному полю нейрона. Щільність кодвектора р =M/N регулюється G.

Проведено аналітичне та експериментальне дослідження характеристик кодвекторів RSC: розмірностей рецептивних полів, щільності і перекриття кодвекторів, роздільної здатності та ін. бінарний реляційний програмний

Інформація про розподіл розмірності рецептивних полів дозволяє вибирати їхню розмірність, адекватну розв'язуваним задачам, а також оптимізувати процедуру формування РП. Реальна розмірність s рецептивного поля може бути менше S, тому що при G>0.5 поля можуть накривати вхідний інтервал [0,1]. Для можливих діапазонів значень G отримані вирази, за якими можуть бути обчислені ймовірності p_in(G) одномірного рецептивного поля перетнути вхідний інтервал, а також вирази для обчислення ймовірностей того, що рецептивні поля є однопороговими або двупороговими. Показано, що розмірність полів має біноміальний розподіл

P_in (s;S,p_in(G)) = (s;S,p_in) = C_S^s p_in^s (1-p_in)^S-^s. (27)

Розподіл P_in|act(s) розмірності рецептивних полів, активованих (тих, що перебувають в одиничному стані, D_j=1) точкою d на головній діагоналі (i, d_i=d), має вигляд

P_in|act(s) = P_in(s) p_act|in^s / _i=0,S P_in(i) p_act|inⁱ, (28)

де p_act|in(d,G) - імовірність того, що точка d потрапила в одномірне рецептивне поле за умови, що поле перетинає вхідний інтервал, _i=0,S P_in(i) p_act|inⁱ = p. Для біноміального розподілу P_in(s): P_in|act(s) = (s; S, p_in|act). Імовірності p_act|in = p_in&act/p_in i p_in|act = p_in&act/p_act визначаються на основі p_in&act(d,G) - імовірності того, що точка d потрапила в одномірне рецептивне поле і це поле перетинає вхідний інтервал. Отримано вирази для обчислення значень ймовірностей p_in|act для будь-яких співвідношень d i G.

Щільність p кодвектора RSC визначає узагальнюючу здатність, витрати пам'яті та обчислювальну складність оперування РП, інформаційну ємність асоціативної пам'яті для їхньої обробки (розділ 4). Отримано вираз для p(D) (D=(d,G)) у довільних точках d = (d₁,d₂,...,d), що дозволяє регулювати p:

p(D) = _{k=1,C(A,S) i=1,S} p_act(d_k(i),G) / C(A,S), (29)

де k визначає конфігурацію багатомірного поля (номера вимірів вхідного простору, в яких у нього є одномірні рецептивні поля), C(A,S) - число сполучень із А по S; p_act (d,G) - імовірність того, що d_k(i) потрапить в одномірне рецептивне поле (d_k(i) - елемент вхідного вектора d, що відповідає i-му одномірному полю k-го багатомірного поля).

Для біноміального P_in(i) і точок на головній діагоналі d (i, d_k(i)=d) знайдені вирази p_act(d_k(i)) = p_act, i=1,S, для всіх можливих сполучень G та d, що дозволяє визначити щільність кодвекторів як p(D) = p^S_act.

Характеристика перекриття V((d₁),(d₂)) p(D₁D₂)/p(D₁) - залежність (маточікування) величини перекриття кодвекторів D₁=(d₁), D₂=(d₂) від координат вхідних векторів d₁,d₂ - важлива для оцінки схожості об'єктів при вирішенні задач у різних предметних областях і може використовуватися як ядро для класифікації методом SVM (розділ 6).

Показано, що для довільних P_in(i) з рівними значеннями p_act|in(d₁,d₂,G) для всіх вимірів і для точок d₁ i d₂, що лежать на головній діагоналі, p(D₁D₂) є

p(D₁D₂) = _i=0,S P_in(i) (p_act|in(d₁,d₂,G))ⁱ, (30)

де p_act|in(d₁,d₂,G) - імовірність того, що одномірне рецептивне поле накриває точки d₁ i d₂ за умови перетинання полем вхідного інтервалу.

При біноміальному розподілі розмірності полів P_in(i) (це виконується для незалежно згенерованих полів з однаковою p_in) p(D₁D₂)=p_act(d₁,d₂,G)^S, де p_act(d₁,d₂,G) - імовірність одномірного рецептивного поля накрити точки d₁ i d₂. Для всіх можливих сполучень d₁,d₂,G отримані вирази для обчислення ймовірності p_act&in(d₁,d₂,G), що дає p_act|in(d₁,d₂,G)=p_act&in(d₁,d₂,G)/p_in. Також отримано вирази для p_act(D₁,D₂,G) (5 виразів для можливих сполучень d₁, d₂, G).

Проведено дослідження роздільної здатності РП RSC, визначеної як середній лінійний розмір сell області вхідного простору d, у якій кодвектор X(d) не змінюється. Показано, що для фіксованих p i S сell ~A/N.

Проведено порівняльний аналіз RSC з іншими методами РП гіперпрямокутними рецептивними полями - регулярними повнорозмірними (таблична та СМАС, для яких s=S=A) і з методом Prager (одна границя на вимір i s<S<A, S=const, S?S(A)). Показано, що для методів РП із s<S<A (RSC, Prager) є можливість відбору найбільш релевантних задачі комбінацій вимірів у різних областях вхідного простору. Збереження роздільної здатності cell при зростанні A не вимагає експонентного росту ресурсів N, як для табличного методу та CMAC. Для RSC, на відміну від Prager, забезпечується регулювання щільності кодвекторів (і середньою розмірністю полів) для малих S, а роздільна здатність в ~2 рази вище.

Отримані результати дозволяють вибирати метод і параметри РП із врахуванням особливостей розв'язуваних задач.

У п. 5.2 розроблені методи порозрядно-векторного РП числової інформації (скалярів і векторів) на основі порозрядних логічних операцій і процедур зв'язування кодвекторів (див. композиційні методи, розділ 2). Експериментально та аналітично досліджені кодвектори з різними характеристиками перекриття.

При порозрядно-векторному РП скалярних числових величин, скаляри x розглядаються як цілі числа в інтервалі [0,Q]. Розроблена субтрактивно-аддитивна процедура, що рекурсивно формує кодвектор X_q q-го значення x як

X_q = (X_q-1 Y-_q) Y⁺_q, (31)

де X₀, Y-_q i Y⁺_q генеруються псевдовипадково. Для q= 0...Q E{ |Y-_q| } = N(1-p_k), E{|Y⁺_q | } = N pp_k/(1-p+p_kp), E{|X_q| } = Np. Показано, що маточікування перекриття

V(X,X*) = p + (1-p) [ (1-p_k)(1-p)/(1-p(1-p_k))] ^|x-x*|Q ; (32)

|x-x*|Qq, а p_k визначає крутість характеристики перекриття.

Для формування кодвекторів з кусочно-лінійною характеристикою перекриття запропоновано процедуру конкатенації частин опорних кодвекторів. Генерується R+1 псевдовипадкових опорних векторів X₀,X₁,...,X_R, що відповідають значенням 0,x₁,...,x_r,...x=1. Кодвектор X_q значення q=x_r+y, 0yx_r+1-x_r формується конкатенацією частин сусідніх кодвекторів X_r i X_r+1:

X_q = X_r{1,N-Ny/(x_r+1-x_r)} X_r+1{N-Ny/(x_q+1-x_q)+1,N},(33)

де X_r{1,N-Ny/(x_r+1-x_r)} - підмножина елементів X_r з номерами від 1 до N- Ny/(x_r+1-x_r); X_r+1{N-Ny/(x_q+1-x_q)+1,N} - підмножина елементів X_r+1 з номерами від N- Ny/(x_r+1- x_r)+1 до N. Перекриття кодвекторів убуває в піддіапазоні r:

V(X, X₀) = p + (1-p)(1-x). (34)

Розроблено процедури РП циклічних величин (градуси кута та ін), де схожість відбивається перекриттям кодвекторів і поблизу точки нуля.

Показано, що обчислювальна складність генерації кодвектора однієї градації скаляра для всіх розроблених процедур становить O(pN).

Для порозрядно-векторного РП векторних числових величин x={x₁, x₂,...,x_A} використовується зв'язування (розділ 3) кодвекторів їхніх компонентів X_{1 q(1)},X_{2 q(2)},...,X_{A q(A)}.

Після першого етапу зв'язування процедурою CDT - диз'юнкції (4) - для незалежних X_i з щільністю p перекриття V результуючих кодвекторів обчислюється

V_i+1= P_i+1 / Q_i+1; Q_i+1 = 1-(1-p)ⁱ⁺¹,

P_i+1 = P_i + p_i+1 - P_i p_i+1 + 2(p-p_i+1) (Q_i - P_i); P₀= Q₀ = 0, (35)

де p_i[p²,p] - маточікування щільності перекриття кодвекторів i-го виміру; P_i - маточікування щільності перекриття кодвекторів після диз'юнкції кодвекторів елементів i вимірів, Q_i - щільності кодвектора диз'юнкції i кодвекторів елементів.

Показано, що при p<<1 можна безпосередньо обчислити V:

P_A = 1- 2exp(-pA) + exp(-_i=1,A(2p-p_i) ), V = P_A / (1-(1-p)^A) P_A/ (1 - exp(-pA)). (36)

Якщо кодвектори елементів-скалярів формуються конкатенацією опорних векторів (33), то функція

f(V) = [ln{V(X,Y) - 1 + exp(-pA) (2-V(X,Y))} + pA]/(p(p-1)) (37)

для кодвекторів X, Y відповідає ||x-y||₁ для точок вхідного простору x i y.

У п. 5.3 розроблено методи формування контекстних кодвекторів з вихідних контекстних векторів u (u_i - елемент A-вимірного u - функція частоти сумісної зустрічальності об'єкта u з i-м контекстом). РП формуються шляхом проекції x у вторинний простір: v=R^Tu (розділ 2). Проекційна матриця R(AN) містить випадково розташовані +1 и -1 (з однаковою ймовірністю p₁/2). При розмірності векторів-стовпців R N <A розмірність v менше, ніж u.

Таким чином, величина перекриття кодвекторів відображає величину кута між вхідними векторами. Обчислювальна складність проекції складає O(AN p₁p₂) (p₂ - частка ненульових елементів у вхідному векторі). Розрідженість вихідних бінарних кодвекторів при t>0 дозволяє підвищити обчислювальну ефективність їхньої обробки.

У шостому розділі досліджується застосування РП (розділ 5) для класифікації ознакових даних, що представлені числовими векторами.

Оцінка ефективності класифікаторів виконувалась експериментально на базах штучних (DGen; Леонарда-Крамера LK; XOR; подвійна спіраль DS; Clouds, Concentric, Gaussian бази Elena) і реальних даних (фонеми Phoneme, зображення ґрунтів Satimage і текстур Texture, іриси Iris бази Elena; Cancer-Glioma; MNIST; Reuters-21578) з нелінійними границями класів. Для порівняння різних класифікаторів розвинуто метод генерації навчальних і тестових вибірок векторних даних (тобто баз прикладів), параметри яких (розмірність, кількість та ін.) можуть змінюватися в широких межах; розроблено його програмну реалізацію DGen.

Розроблено ряд класифікаторів, що складаються із блоку попередньої обробки (перетворення вхідної інформації в РП) і блоку класифікації (представленого різними класифікаторами).

В результаті об'єднання нелінійного RSC-перетворення (п. 5.1) як блока попередньої обробки та класифікатора методом найближчих сусідів kNN створений класифікатор RSC-kNN; у сполученні з лінійним методом опорних векторів SVM - RSC-SVM, з методом лінійного персептрона Prc - RSC-Prc. RSC-kNN працює з індивідуальними прикладами бази. У лінійних класифікаторах SVM i Prc база прикладів узагальнюється до одного вектора (параметрів класифікатора) на клас.

Таблиця 1 Порівняльні результати класифікації (%err)

DGEN: A=4,C=5,L=250
BP	37.2
NN	35.0
RSC N=2048	32.4
PFC	30.6
DS
RSC-Prc	2.08
RSC-kNN	2.08
kNN	4.27
CascadeBP	5.7
Kernel Assoc	5.8
CascadeAssoc	7.3
LK
RSC-Prc	0.2
kNN	0.39
RSC-kNN	0.67
NeuroLand	1.33
NeuralWorks	2
BrainMaker	19.17

На основі аналізу РП (п. 5.1) обрано параметри RSC-перетворення та проведено експериментальне дослідження класифікаторів RSC-SVM (безпосередньо або з використанням ядерної функції) i RSC-Prc на базах XOR, DS, LK і DGen. Результати дослідження підтверджують ефективність такого вибору параметрів. При малих N мінімальний відсоток помилок класифікації %err досягається поблизу значень G, що максимізують роздільну здатність кодвекторів cell, а при великих N - при значеннях G порядку характерних розмірів областей класів.

Проведено порівняльне дослідження обчислювальної ефективності і якості класифікаторів на базі РП RSC, а також потенційних функцій PF, найближчих сусідів kNN, зворотного поширення помилки BP, векторного квантування IRVQ, каскадних нейромереж CascadeBP i CascadeAssoc, ядерної НАП KernelAssoc, нейропакетів NeuroLand, NeuralWorks, BrainMaker.

Аналіз результатів показує, що класифікатори на базі RSC у більшості випадків демонструють результати на рівні або вище ніж інші класифікатори (табл. 1, 2), що брали участь у дослідженні. RSC-Prc забезпечує високу обчислювальну ефективність навчання та функціонування i надає можливість безпосередньо працювати в просторах вторинних ознак великої розмірності N, а також зі значно більшими навчальними вибірками, дещо поступаючись по точності обчислювально складнішому RSC-SVM.

Дослідження впливу скорочення розмірності кодвекторів на якість класифікації проведено на прикладах задач класифікації зображень, текстів і слів.

Таблиця 2 Порівняльні результати класиф. Elena (%err)

Вхідні дані	S	RSC- SVM	RSC- ядро	RSC- Prc	kNN	MLP	IRVQ
Iris	4	4.27	6.67	5.73	4	4.3	6.7
Phoneme	5	13.61	11.62	13.19	12.3	16.3	16.4
Satimage	5	10.11	-	9.1	9.9	12.3	11.4
Texture	5	0.73	-	1.07	1.9	2.0	3.1

Таблиця 3 Результати на MNIST

N1000	orig
N*1000	distr	sel
N	5	6.67
N*	1	9.04	8.20
N	10	4.07
N*	1	7.27	5.78
N*	5	4.15	4.20
N	50	1.95
N*	1	6.32	4.92
N*	5	2.74	2.64
N*	10	2.13	2.42
N	128	1.60
N*	1	8.26	4.74
N*	5	2.64	2.61
N*	10	2.04	2.18

Експериментальне дослідження впливу скорочення розмірності РП проводилося на базі зображень рукописних цифр MNIST. Результати класифікації (табл. 3) для N*-мірних кодвекторів скороченої розмірності (distr, проекційні методи п. 5.3) значно перевищують результати для N-мірних вхідних РП (orig, формувалися відомим методом рецептивних полів LIRA) при N = N* і є на рівні результатів класифікації з відбором ознак за критерієм взаємної інформації Шеннона (sel). Аналогічні результати отримані для бази текстових даних Reuters-21578 (при скороченні розмірності в 20 разів точність класифікації знизилася - з 0.913 до 0.861).

Для методів скорочення розмірності РП шляхом відбору їхніх інформативних елементів (ознак) проведено дослідження впливу запропонованого критерію оцінки інформаційної надмірності Re бінарної ознаки y до множини ознак X на точність класифікації. Re обчислюється як

Re(y,X) = max_xX MI(y,x) / MI(x,x), (38)

де MI(y, x) - взаємна інформація Шеннона.

На базі MNIST застосування критерію надмірності дозволило знизити помилку класифікації з ~2.9% до 2.25% (поліпшення на ~20%); результати на базі Reuters-21578 підвищені c 0.916 до 0.937 при N*=500 (дослідження проведено І.С. Місуно).

Для дослідження відображення семантичної близькості слів розподілені контекстні вектори слів формувалися проекційним методом п. 5.3 на основі інформації про спільну зустрічальність слів у базах текстів. Формування розподілених контекстних кодвекторів С_i слова i здійснювалося як

C_i = _(j,k)J(i) f_k r_j b_ijk,

де (j,k) - контекст, j - слово контексту, k - тип контексту (слова контексту, що знаходяться у тексті на відстані k від цільового слова), J(i) - множина контекстів слова i, r_j - випадковий індексний вектор слова j, f_k - вага k-го контексту, b_ijk - число, що показує, скільки разів слово i зустрічається в контексті (j,k).

Формування С_i по здійснювалося при послівному проході текстової бази. Обчислювальна складність дорівнює O(LM), де L - число слів у базі, M - число ненульових елементів в r (звичайно M=const, M<<N). Таке формування РП виключає необхідність створення та обчислювально складної обробки повних частотних матриць слова-контексти, розмірність яких дуже велика для значних за розміром текстових масивів. Порогове перетворення здійснювалося по (1).

Адекватність відображення семантичної близькості слів контекстними РП підтверджено експериментальними дослідженнями, які включали синонімічні тести TOEFL i ESL, тест семантичної близькості слів Rubenstein-Goodenough, вибір варіанта автоматичного перекладу, вибирання семантичних рядів, пошук і класифікацію текстів (див. також розділ 7). Так, на TOEFL отримано більш 65% правильних відповідей, що відповідає результатам обчислювально більш складного методу LSA і середньому результату абітурієнтів університетів США. Використання І.С. Місуно контекстних векторів текстової інформації для пошуку текстів з урахуванням семантичної близькості на стандартних базах текстів Time, Cranfield, Medlars дало підвищення точності пошуку до 20% в порівнянні з традиційним методом VSM.

Отримані результати свідчать про ефективність застосування розроблених методів при роботі з великими базами прикладів.

У сьомому розділі представлені програмні та апаратні засоби i системи, що реалізують і використовують розроблені методи РПІ і їхньої обробки.

Під керівництвом і при особистій участі здобувача створені наступні базові програмні засоби: формування РП вхідної інформації різних типів (числової - RSCCodig, BitVectorCoding, Projective Coding; символьної - RandomCoding; реляційної структурованої - StructureCoding) і її обробки (розподілена асоціативна пам'ять AssocMemToolbox, класифікатори ClassifierToolbox, пошук схожих кодвекторів SimilarityToolbox, відбір бінарних ознак FeatureToolbox, обробка структурованої інформації AnalogyToolbox). Основою програмних засобів є об'єктно-орієнтована бібліотека класів, що підтримує ефективне оперування кодвекторами.

Здобувачем розроблена концепція програмного нейрокомп'ютера SNC (Software NeuroComputer) як інструментально-технологічного засобу розробки прикладних систем ШІ. Ідея концепції полягає в реалізації блок-схеми алгоритму вирішуваної задачі за допомогою візуального програмування шляхом вибору (з меню SNC) відповідних блоків і їх з'єднання зв'язками по даним i керуванню. Модульна програмна архітектура SNC заснована на технології COM, що дозволяє не тільки гнучко конфігурувати включені до складу нейрокомп'ютера блоки, але i незалежно використовувати розроблені компоненти. Розробку та реалізацію SNC виконано під керівництвом здобувача.

При особистій участі здобувача створені разом з японською фірмою WACOM апаратні нейрокомп'ютери B-512, B-512M, C-2048. Нейрокомп'ютери призначені для апаратної підтримки зберігання та швидкої обробки бінарних розріджених векторних представлень. Здобувачем розроблене i реалізоване системне та прикладне програмне забезпечення B-512, яке використано при вирішенні задач розпізнавання рукописних символів, слів, почерку (спільний проект із WACOM). Здобувачем створені також програмно-апаратні комплекси розпізнавання текстур i акустичних сигналів на основі нейрокомп'ютера НІК.

На основі розроблених в дисертації методів, реалізованих базовими програмними модулями, створено наступні прикладні програмні системи.

На базі StructureCoding і AnalogyToolbox (методи розділу 3) розроблено систему AnalogySearch для пошуку аналогів в БЗ і зіставлення їхніх компонентів. Програмні засоби RSCCoding, BitVectorCoding, що реалізують РП числової інформації (методи розділу 5), а також класифікатори ClassifierSet (методи розділу 6) застосовано здобувачем для вирішення завдань класифікації зображень рукописних символів, розпізнавання рукописного тексту, почерку, текстур, акустичних сигналів, даних мас-спектрометрії. Спільно з Т.М. Байдик і Е.М. Куссулем реалізовано розпізнавання друкарських символів і тексту, а також діагностика стану мікромеханічного устаткування.

На базі AssocMemToolbox (методи розділу 4) здобувачем розроблено систему Select, яка призначена для цілеспрямованої фільтрації потоку текстових документів шляхом створення і використання профілю інтересів користувача. Система є складовою частиною прикладного програмного комплексу Fragment для обробки розсіяної текстової інформації, створеного в інтересах в/ч 61330. AssocMemToolbox використаний також здобувачем для розробки системи моделювання асоціативної пам'яті і (спільно з О.Д. Гольцевим) для сегментації штрихових малюнків.

На базі проекційних методів (п. 5.3) і реалізацій ProjectiveCoding, SimilarityToolbox - створені системи SemanticSimilarity (визначення семантичної близькості текстової інформації), SemanticBookSearch, TextSearch, TextClassifier (пошук і класифікація текстової інформації з елементами обліку семантики - розробка І.С. Місуно). На основі нейромережевих лінійних моделей спільно з О.Г. Ревуновою розроблені спеціалізовані програмні комплекси для спектрометрії, а також для подавлення активних завад в антенних системах. Практичне застосування створених програмних засобів підтвердило ефективність закладених в них методів розподіленого бінарного розрідженого представлення інформації для вирішення задач пошуку і класифікації за прецедентами і аналогіями.

Висновки

Сукупність отриманих в дисертації результатів забезпечує розв'язання актуальної наукової проблеми розвитку теоретичних засад нейромережевого бінарного розрідженого розподіленого представлення інформації в системах штучного інтелекту, що застосовують моделі міркувань людини на основі прецедентів і аналогій. Розроблені, досліджені, і реалізовані в програмно-апаратних інструментальних засобах і прикладних системах методи формування і обробки кодвекторів (бінарних розріджених розподілених представлень) реляційної структурованої і векторної неструктурованої інформації. Ефективність розроблених методів і засобів підтверджена застосуванням для вирішення задач класифікації і пошуку релевантної інформації на реальних і тестових даних.

1. Розвинені підхід і методи представлення реляційної структурованої інформації у форматі кодвекторів фіксованої розмірності на основі застосування процедур зв'язування та рекурсивного формування кодвекторів відношень різного ступеня складності. Структури зі схожим складом і відношеннями компонентів продукують схожі за величиною скалярного добутку кодвектори.

2. Розроблені підхід і методи моделювання міркувань за аналогією, засновані на обробці складних ієрархічних структур (фрагментів баз знань) шляхом оцінки схожості їхніх кодвекторів, що відрізняє ці методи від існуючих, дозволяючи підвищити обчислювальну ефективність і забезпечити врахування семантичної близькості об'єктів і відношень. Реалізована здобувачем програмна система показала адекватність підходу та методів моделювання міркувань за аналогією. Застосування запропонованого підходу при створенні програмних засобів пошуку та виведення за аналогією дозволило підвищити на базі знань ThinkNet повноту пошуку до 20%, точність - в 3-4 рази (розробка С.В. Сліпченка під керівництвом здобувача).

3. Розроблені методи представлення числової векторної інформації, що здійснюють нелінійне перетворення вхідного простору в кодвектори - гіперпрямокутними рецептивними полями RSC, порозрядно-векторний, проекційний. Схожість кодвекторів відбиває близькість вхідних числових векторів. Запропоновані методи аналізу i досліджені характеристики кодвекторів, що забезпечує можливість вибору параметрів кодвекторів та оцінки витрат обчислювальних ресурсів у прикладних задачах.

· Метод RSC забезпечує високу роздільну здатність, що лінійно залежить від розмірності кодвекторів. Вибір параметрів кодвекторів RSC і використання характеристики перекриття як ядра для методу опорних векторів дозволили створити ефективні класифікатори (див. висновок 3).

· Порозрядно-векторний метод за рахунок використання поелементних векторних операцій над кодвекторами i можливості формування різних типів характеристик перекриття кодвекторів дозволяє ефективно представляти та обробляти числову інформацію, що підтверджено при вирішенні задач класифікації текстур, зображень рукописних символів і слів, акустичних сигналів, а також у задачі прогнозування існування хімічних сполук (розробка С.В. Сліпченка під керівництвом здобувача), де на базі INTAS 00-397 отримані результати на рівні кращих у цій області.

· Проекційний метод забезпечує відбиття схожості вхідних векторів у контекстних кодвекторах і підвищення обчислювальної ефективності за рахунок скорочення розмірності. Для текстової інформації адекватність представлення семантичної близькості слів контекстними кодвекторами підтверджена експериментальними дослідженнями: на тесті TOEFL отримано 65% правильних відповідей, що відповідає кращому результату методу LSA; у системі пошуку текстової інформації, яка розроблена І.С. Місуно під керівництвом здобувача, підвищена точність пошуку до 20% на базах текстів Time, Cranfield, Medlars.

4. Розвинені методи обробки бінарних розподілених представлень для рішення задач класифікації векторної інформації та порівняльного дослідження класифікаторів:

· Розроблені класифікатори, що відрізняються нелінійним RSC-перетворенням вхідного простору. За рахунок обчислювальної простоти RSC-перетворення, можливості вибору його параметрів, використання ядра RSC-перетворення, класифікатори ефективні по швидкодії i точності, що підтверджено експериментальними дослідженнями на даних з нелінійними границями класів (бази DGen, LK, DoubleSpiral, Elena, Cancer-Glioma).

· Проведене дослідження впливу скорочення розмірності векторних представлень проекційними методами на якість класифікації зображень рукописних цифр (база MNIST) і текстів (база Reuters-21578) показало підвищення точності в порівнянні з початковими представленнями тієї ж розмірності.

· Застосування запропонованого критерію інформаційної надмірності бінарних ознак дозволяє підвищити якість класифікації, що підтверджено роботами І.С. Місуно під керівництвом здобувача (на MNIST помилка знижена на 20%; на Reuters-21578 точність підвищена з 0.92 до 0.937, що відповідає світовому рівню).

· Для порівняльного дослідження класифікаторів розроблений генератор тестових даних DGen, який забезпечує можливість формування навчальних і тестових вибірок даних з варійованими значеннями параметрів (розмірність векторів, складність областей класів, рівень шуму, число зразків та ін.).

5. Розвинений метод аналізу нейромережевої розподіленої авто-асоціативної пам'яті з бінарними зв'язками. Для широкого діапазону розмірностей (до 10⁵), ступеня розрідженості i рівня спотворення кодвекторів показано, що точність отриманих оцінок інформаційних характеристик пам'яті перевершує точність методу Гібсона-Робінсона. Максимальна інформаційна ефективність дослідженої пам'яті (0.13 біт на зв'язок) уступає мережі Хопфілда (0.20 біт), але завдяки бінарності зв'язків вона має більш високу удільну ефективність.

6. Представлення інформації в єдиному форматі кодвекторів, що відбивають схожість об'єктів величиною скалярного добутку, дозволило підвищити обчислювальну ефективність i якість вирішення задач пошуку і класифікації на основі прецедентів і аналогій. Високі результати при вирішенні задач отримані завдяки перетворенню вхідної інформації в кодвектори, що відбивають структурний взаємозв'язок компонентів вхідної інформації. Обчислювальна ефективність забезпечена низькою складністю формування та обробки бінарних розріджених кодвекторів. Єдиний підхід до рішення задач штучного інтелекту моделюванням міркувань за прикладами, єдині формат представлення інформації, методи її зберігання та обробки дозволили уніфікувати i оптимізувати програмно-апаратне забезпечення.

7. Розроблені методи i алгоритми реалізовані у вигляді програмних та апаратних засобів і систем. Проведені експериментальні дослідження (висновки 2-5) підтвердили вірогідність i обґрунтованість отриманих результатів, наукову та практичну значимість розвинутого напрямку.

8. В результаті виконання дисертаційної роботи створено теоретичну і інструментальну базу, що забезпечує підвищення ефективності та розширення сфери застосування міркувань за прецедентами і аналогіями в системах штучного інтелекту.

Список опублікованих праць за темою дисертації

1. Амосов Н.М., Байдык Т.Н., Гольцев А.Д., Касаткин А.М., Касаткина Л.М., Куссуль Э.М., Рачковский Д.А. Нейрокомпьютеры и интеллектуальные роботы. - К.: Наукова думка, 1991. - 272 с.

2. Рачковский Д.А., Федосеева Т.В. Программно-аппаратный нейрокомпьютерный комплекс для распознавания звуковых сигналов // Нейроподобные сети и нейрокомпьютеры. Сб. научн. тр. - К.: Институт кибернетики им. В.М. Глушкова АН УССР, 1991. - С. 62-68.

3. Куссуль Э.М., Байдык Т.Н., Лукович В.В., Рачковский Д.А. Нейронные классификаторы с распределенным кодированием входной информации // Нейрокомпьютер. - 1994. - № 3-4. - С. 13-24.

4. Лукович В.В., Рачковский Д.А. Исследование характеристик нейросетевого классификатора со случайными порогами // Нейросетевые технологии и нейрокомпьютеры. Сб. научн. тр. - К.: Институт кибернетики им. В.М. Глушкова НАН Украины, 1994. - С. 27-36.

5. Рачковский Д.А. Использование стохастических ансамблевых нейронных сетей в задаче отбора текстов, интересных для пользователя // Нейросетевые системы обработки информации. Сб. научн. тр. - К.: Институт кибернетики им. В.М. Глушкова НАН Украины, 1996. - С. 52-64.

6. Гриценко В.И., Мисуно И.С., Рачковский Д.А., Ревунова Е.Г., Слипченко С.В., Соколов А.М. Концепция и архитектура программного нейрокомпьютера SNC // Управляющие системы и машины. - 2004. - № 3. - С. 3-14.

7. Рачковский Д.А., Слипченко С.В., Куссуль Э.М., Байдык Т.Н. Процедура связывания для бинарного распределенного представления данных // Кибернетика и системный анализ. - 2005. - № 3. - С. 3-18.

8. Рачковский Д.А., Мисуно И.С., Слипченко С.В., Соколов А.М. Поиск аналогов с помощью распределенных представлений // Проблемы программирования. - 2005. - № 1. - С. 39-50.

9. Слипченко С.В., Рачковский Д.А. Подходы к отображению аналогов с помощью распределенных представлений // Компьютерная математика. - 2005. - № 1.- С.55-69.

10. Рачковский Д.А., Слипченко С.В., Куссуль Э.М., Байдык Т.Н. Разреженное бинарное распределенное кодирование скалярных величин // Проблемы управления и информатики. - 2005. - № 3. - С. 89-102.

11. Рачковский Д.А., Слипченко С.В., Мисуно И.С., Куссуль Э.М., Байдык Т.Н. Разреженное бинарное распределенное кодирование числовых векторов // Проблемы управления и информатики. - 2005. - № 6. - С. 57-72.

12. Слипченко С.В., Рачковский Д.А., Мисуно И.С. Декодирование разреженных бинарных распределенных кодов скалярных и векторных величин // Компьютерная математика. - 2005. - № 3. - С. 108-120.

13. Мисуно И.С., Рачковский Д.А., Ревунова Е.Г., Слипченко С.В., Соколов А.М., Тетерюк А.Е. Модульный программный нейрокомпьютер SNC: реализация и применение // Управляющие системы и машины. - 2005. - № 2. - С. 74-85.

14. Рачковский Д.А., Слипченко С.В., Куссуль Э.М., Байдык Т.Н. Свойства кодов числовых величин для схемы случайных подпространств RSC // Кибернетика и системный анализ. - 2005. - № 4. - С. 39-52.

15. Слипченко С.В., Мисуно И.С., Рачковский Д.А. Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями // Математичні машини і системи. - 2005. - № 4. - С. 15-29.

16. Мисуно И.С., Рачковский Д.А., Слипченко С.В. Экспериментальное исследование классификации рукописных цифр // Системные технологии. - 2005. - № 4 (39). - С. 110-133.

17. Мисуно И.С., Рачковский Д.А., Слипченко С.В. Векторные и распределенные представления, отражающие меру семантической связи слов // Математичні машини і системи. - 2005. - № 3. - С. 50-67.

18. Рачковский Д.А., Слипченко С.В., Фролов А.А., Гусек Д. Разрешающая способность бинарного кодирования числовых векторов гиперпрямоугольными рецептивными полями // Кибернетика и системный анализ. - 2005. - № 5. - С. 3-16.

19. Мисуно И.С., Рачковский Д.А., Слипченко С.В., Соколов А.М. Поиск текстовой информации с помощью векторных представлений // Проблемы программирования. - 2005. - № 4. - С. 50-59.

20. Фролов А.А., Гусек Д., Рачковский Д.А. Время поиска по сходству в ассоциативной памяти для бинарных векторов // Кибернетика и системный анализ. - 2006. - № 5. - С. 3-13.

21. Kussul E.M., Rachkovskij D.A. Multilevel assembly neural architecture and processing of sequences // Holden A.V., Kryukov V. I. Neurocomputers and Attention: Connectionism and neurocomputers. - Manchester and New York: Manchester University Press, 1991. - P. 577-590.

22. Rachkovskij D.A., Kussul E.M. DataGen: a generator of datasets for evaluation of classification algorithms // Pattern Recognition Letters. - 1998. - V. 19, №7 - P. 537-544.

23. Rachkovskij D.A. Representation and Processing of Structures with Binary Sparse Distributed Codes // IEEE Transactions on Knowledge and Data Engineering. - 2001. - V. 13, № 2. - P. 261-276.

24. Rachkovskij D.A., Kussul E.M. Binding and Normalization of Binary Sparse Distributed Representations by Context-Dependent Thinning // Neural Computation. - 2001. - V. 13, № 2. - P. 411-452.

25. Goltsev. A., Rachkovskij D. A recurrent neural network for partitioning of hand drawn characters into strokes of different orientations // International Journal of Neural Systems. - 2001. - V. 11, № 5. - P. 463-475.

26. Frolov A.A., Rachkovskij D.A., Husek D. On Information Characteristics of Willshaw-Like Auto-Associative Memory // Neural Network World. - 2002. - V. 12, № 2. - P. 141-157.

27. Markman A.B., Rachkovskij D.A., Misuno I.S., Revunova E.G. Analogical reasoning techniques in intelligent counterterrorism systems // International Journal Information Theories & Applications. - Sofia, Bulgaria. - 2003. - V. 10, № 2. - P. 139-146.

28. Rachkovskij D.A. Some Approaches to Analogical Mapping with Structure Sensitive Distributed Representations // Journal of Experimental and Theoretical Artificial Intelligence. - 2004. - V. 16, № 3. - P. 125-145.

29. Revunova E.G., Rachkovskij D.A. Training a linear neural network with a stable LSP solution for jamming cancellation // International Journal Information Theories and Applications. - 2005. - V. 12, № 3. - P. 224-230.

30. Goltsev A.D., Rachkovskij D.A. Combination of the assembly neural network with a perceptron for recognition of handwritten digits arranged in numeral strings // Pattern Recognition. - 2005. - V. 38, № 3. - P. 315-322.

31. Sokolov A.M., Rachkovskij D.A. Approaches to sequence similarity representation // International Journal Information Theories & Applications. - 2006. - V. 13, № 3. - P. 272-278.

32. Rachkovskij D.A. Linear Classifiers Based on Binary Distributed Representations // International Journal Information Theories and Applications. - 2007 - V. 14, № 3. - P. 270-274.

33. Kussul E.M., Rachkovskij D.A., Baidyk T.N. Associative-Projective Neural Networks: Architecture, Implementation, Applications // 4th Intern. Conference "Neural Networks & their Applications". - Nimes, France, 1991. - P. 463-476.

34. Kussul E.M., Rachkovskij D.A., Baidyk T.N. On image texture recognition by associative-projective neurocomputer // ANNIE'91 conference "Intelligent engineering systems through artificial neural networks". - ASME Press, 1991. - P. 453-458.

35. Артыкуца С.Я., Байдык Т.Н., Куссуль Э.М., Рачковский Д.А. Распознавание текстур с помощью нейрокомпьютера. Препринт 91-8. - Институт кибернетики им. В.М. Глушкова АН УССР, 1991. - 20 с.

36. Kussul E.M., Baidyk T.N., Rachkovskij D.A. Neural network for recognition of small images // First all-Ukrainian conference "UkrOBRAZ'92". - Kyjiv, Ukraine, 1992. - P. 151-153.

37. Kussul E.M., Baidyk T.N., Lukovich V.V., Rachkovskij D.A. Adaptive neural network classifier with multifloat input coding // NeuroNimes'93. - Paris: EC2, 1993. - P. 25-29.

38. Kussul E.M., Baidyk T.N., Lukovich V.V., Rachkovskij D.A. Adaptive High Performance Classifier Based on Random Threshold Neurons // Twelfth European Meeting on Cybernetics and Systems Research. - Vienna, Austria: World Scientific Publishing Co. Pte. Ltd, Singapore. - 1994. - P. 1687-1694.

39. Kussul E.M., Baidyk T.N., Rachkovskij D.A. Application of Neural Network Classifiers for the OCR of Printed Texts // Second International Symposium on Neuroinformatics and Neurocomputers. - Rostov-on-Don, Russia, 1995. - P. 1-6.

40. Lukovich V.V., Goltsev A.D., Rachkovskij D.A. Neural Network Classifiers for Micromechanical Equipment Diagnostics and Micromechanical Product Quality Inspection // 5th European Congress on Intelligent Techniques and Soft Computing EUFIT'97. - Aachen, Germany: ELITE Foundation, 1997. - P. 534-536.

41. Kussul E.M., Rachkovskij D.A., Artykutsa S.Y., Kasatkin A.M., Kasatkina L.M., Lukovich V.V., Talayev S.A. Adaptive Control System for the Fully Automated Micromechanical Factory: the Problems and Possible Neural Network Solutions // 5th European Congress on Intelligent Techniques and Soft Computing EUFIT'97. - Aachen, Germany: ELITE Foundation, 1997 - V. 1. - P. 524-527.

42. Kussul E.M., Kasatkina L.M., Rachkovskij D.A., Wunsch D.C. Application of Random Threshold Neural Networks for Diagnostics of Micro Machine Tool Condition // IJCNN'98. -V. 1. - Piscataway, NJ: IEEE, 1998. - P. 241-244.

43. Kussul E.M., Rachkovskij D.A., Wunsch D.C. The Random Subspace Coarse Coding Scheme for Real-valued Vectors // IEEE International Joint Conference on Neural Networks (IJCNN'99). - V. I. - Washington, DC: IEEE, 1999. - P. 450-455.

44. Goltsev A., Rachkovskij D. Neural network with inhibitory connections for shape recognition // 12-th International Conference on Neurocybernetics. - Rostov-on-Don, Russia, 1999. - P. 196-197.

45. Goltsev A.D., Rachkovskij D.A., Wunsch D. A neural network for segmentation of line drawing into lines of different orientations // Intelligent Engineering Systems Through Artificial Neural Networks. - V. 10. - New York, ASME Press, 2000. - P. 217-224.

46. Misuno I.S., Rachkovskij D.A., Revunova E.G., Sokolov A.M. SNC: The Software Neurocomputer With Modular Architecture // Междунар. конф. "Проблемы нейрокибернетики". - Т. 2. - Ростов-на-Дону, Россия, 2002. -- С. 109-113.

...