Методи об’єднання результатів статистичних обстежень домогосподарств

У вступі обґрунтовано актуальність теми дисертаційної роботи, визначено мету й основні завдання дослідження, сформульовано положення, що визначають об'єкт, предмет і методи дослідження, відображено наукову новизну та практичну цінність одержаних результатів.

У розділі 1 "Методологічні засади статистичного об'єднання даних" розглянуто проблеми комплексного використання статистичних даних з різних джерел при вимірюванні соціально-економічних процесів, категоріальний апарат, що використовується у цій галузі статистики. Наведено характеристику системи сучасних методів об'єднання даних обстежень населення, окреслено особливості та проблеми їх застосування. Значну увагу приділено передумовам, що визначають можливість застосування конкретних методів об'єднання даних, а також основним етапам їх реалізації.

У теперішній час соціально-економічний стан населення України визначається на основі інформації, отриманої з різноманітних джерел - переписів населення, державних вибіркових обстежень, даних статистики праці, демографічної та соціальної статистики, статистики національних рахунків, адміністративних даних тощо. Зазначені джерела інформації є досить різноплановими в тому сенсі, що кожне з них відображає окремі аспекти соціальних явищ, характеризується різною структурою інформації, періодичністю її актуалізації, до того ж обстеження населення проводяться на вибірках різного дизайну. Через це під час розрахунку статистичних показників дані з указаних джерел, як правило, застосовуються незалежно та взаємно не узгоджуються, що призводить до суттєвого зниження ефективності використання наявної інформації. Особливо негативні наслідки це має для державної статистики, завданням якої є вимірювання не окремих аспектів життя суспільства, а створення релевантного, достовірного, повного і своєчасного інформаційного забезпечення органів законодавчої та виконавчої влади, політичних і громадських організацій, наукових установ тощо. Слід зазначити, що аналогічні проблеми існують у системах державної статистики всіх країн світу. Для їх вирішення наразі інтенсивно розвивається спеціальна статистична методологія, що заснована на використанні методів об'єднання даних із різних джерел.

Статистичне об'єднання даних в дисертації визначається як сукупність процесів інтеграції результатів спостережень на основі спеціальних методологічних принципів з метою формування об'єднаного масиву інформації для ефективного вимірювання цільових явищ і процесів за результатами різних (за видами, часом проведення, рівнем агрегації тощо) спостережень.

Найбільш важливими джерелами статистичних даних, що застосовуються в Україні для вимірювання й аналізу соціально-економічних і демографічних процесів та можуть бути використаними при об'єднані даних, є переписи населення, державні вибіркові обстеження домогосподарств (населення) та реєстри населення.

За результатами дослідження якості та доступності інформації з розглянутих джерел даних встановлено, що за сучасних умов методологічні засади об'єднання даних доцільно розробляти та впроваджувати, насамперед, для потреб державної статистики України у сфері вибіркових обстежень. Це пояснюється прозорістю методологічних засад, доступністю методичного забезпечення державних статистичних спостережень, достатньо високим рівнем організації вибіркових обстежень населення в Україні та ефективною системою надання їх результатів користувачам. З урахуванням зазначеного, при проведенні досліджень за темою роботи основна увага приділялася проблемам комплексного використання інформації, отриманої за результатами різних державних вибіркових обстежень домогосподарств (населення).

У дисертації окреслено основні переваги об'єднання даних при вимірюванні соціально-економічних процесів: забезпечення можливості надійного оцінювання показників на мезорівні; узгодження результатів спостережень з інформацією з зовнішніх джерел; забезпечення порівнянності даних та можливості об'єднання результатів спостережень з результатами моделювання; суттєве зростання ефективності використання статистичної інформації тощо.

При об'єднанні даних, як правило, виникають такі проблеми: результати спостережень, які необхідно об'єднати, отримані на основі різних методологічних принципів або за різні проміжки часу; дані, що об'єднуються, характеризують різні статистичні одиниці (наприклад, одиницею спостереження перепису, реєстру чи вибіркового обстеження населення є особа, а вибіркового обстеження домогосподарств - домогосподарство, а також особи - члени цього домогосподарства); дані характеризують різні генеральні сукупності (наприклад, результати обстеження робочої сили - сукупність осіб працездатного віку, обстеження сільськогосподарської діяльності домогосподарств - сукупність домогосподарств, що мають земельні ділянки, реєстр платників податків - сукупність фізичних осіб, які можуть сплачувати податки); дані відповідають різним рівням агрегації.

Доцільно виділити такі основні групи методів об'єднання даних з різних джерел (рис. 1):

· методи приєднання даних - застосовуються за умов, коли з різних джерел отримують дані за однаковими ознаками, тобто до певного масиву даних слід приєднувати додаткові одиниці спостережень;

· методи зв'язування даних - використовуються, коли для одних і тих самих одиниць отримують дані з різних джерел, тобто до певного масиву даних необхідно приєднувати додаткові змінні;

· методи злиття даних - дозволяють об'єднати дані, отримані з різних джерел за різними блоками обстежених одиниць та різними блоками ознак, в єдиний масив даних.

При розробці методологічних підходів до вирішення складних проблем статистичного об'єднання даних у багатьох випадках ефективним виявляється застосування кількох методів з різних груп. У дисертації такий підхід пропонується позначати як комбіновані методи статистичного об'єднання даних.

Рис. 1. Методи статистичного об'єднання даних.

На основі аналізу принципів гармонізації та результатів виконаних досліджень у роботі сформульовано узагальнюючі методологічні положення, що необхідно враховувати при розробці підходів до статистичного об'єднання даних.

По-перше, для забезпечення уможливлення використання методів об'єднання даних з різних джерел інформація повинна відповідати одиницям одного рівня (особи, домогосподарства, адміністративні райони тощо).

По-друге, об'єднання даних здійснюється лише за подібними (або однаковими) групами одиниць. Наприклад, дані перепису населення містять інформацію про все населення, а дані обстеження економічної активності населення містять інформацію лише щодо осіб працездатного віку (тобто за методологією МОП - 15-70 років).

По-третє, необхідно враховувати період спостереження. Скажімо, дані перепису населення відображають ситуацію на конкретну дату, а дані вибіркових обстежень домогосподарств - за певний період часу (місяць, квартал, рік). При об'єднанні даних, що відповідають різним періодам часу, необхідними є перерахунки для забезпечення узгодженості даних.

По-четверте, при об'єднанні даних суттєво зростають вимоги до якості інформації, насамперед її надійності та узгодженості. Об'єднання даних зі значною кількістю пропусків, неузгодженістю тощо може призвести до неприйнятно низької якості об'єднаного масиву інформації.

Зазначені положення є загальними для всіх методів об'єднання даних. Практична їх реалізація здійснюється через систему конкретних правил та рекомендацій залежно від обраного підходу до об'єднання даних.

Розділ 2 "Методологічні підходи до об'єднання даних вибіркових обстежень домогосподарств" присвячено особливостям застосування розроблених методів об'єднання даних вибіркових обстежень домогосподарств, що проводяться на вибірках різного дизайну та у різні періоди часу, а також даних різних вибіркових обстежень за наявності гармонізованої системи загальних ознак.

У дисертації запропоновано методологічний підхід до розв'язання проблеми приєднання даних, отриманих за результатами вибіркових обстежень домогосподарств з різним дизайном вибірки. Специфіка застосування такого підходу проілюстрована на прикладі об'єднання даних обстеження економічної активності населення (ОЕАН) у сільській місцевості, отриманих на вибірці цільового обстеження, та обстеження сільськогосподарської діяльності домогосподарств (ОСГД). Генеральні сукупності обох обстежень представляють неінституційні домогосподарства, для ОСГД - лише ті з них, що мають сільськогосподарські угіддя. Показано, що масиви даних зазначених обстежень можуть бути ефективно об'єднані у загальний масив інформації за умови належного коригування систем статистичних ваг. При цьому коефіцієнти коригування обчислюються для кожного регіону з урахуванням рівня надійності оцінок показників за даними кожного з обстежень, а також величини зміщення оцінок показників економічної активності за даними ОСГД.

Основними причинами такого зміщення є зазначені особливості генеральних сукупностей та дизайн вибірки ОСГД, за яким домогосподарства, що користуються відносно великими за площею земельними ділянками, включаються до вибірки без відбору (є саморепрезентативними). При коригуванні статистичних ваг зайнятих та безробітних осіб -го регіону величина розраховується за формулою:

(1)

При цьому оцінки коефіцієнтів і визначаються з умов мінімізації загальної похибки оцінювання показників чисельності зайнятого та безробітного населення в -му регіоні за об'єднаним масивом даних:

(2)

де - оцінка чисельності населення; - стандартна похибка оцінки;

- середнє зміщення оцінки; надрядкові позначення та відносять величини до відповідних обстежень; підрядкові позначення та відносять величини до зайнятого та безробітного населення відповідно; підрядковий індекс відносить величини до -го регіону, .

Величина зміщення оцінок показників, що використовуються при розрахунках за формулою (2), визначається із застосуванням методу ковзної середньої на основі щомісячних даних ОЕАН та ОСГД для поточного та двох попередніх місяців.

Зазначений підхід адаптовано для розв'язання проблеми підвищення надійності оцінювання розподілу домогосподарств, у складі яких є діти, за кількістю дітей у розрізі регіонів України на основі даних державних вибіркових обстежень економічної активності населення та умов життя домогосподарств з урахуванням гармонізованої системи показників.

У дисертації розглянуто особливості об'єднання даних державних вибіркових обстежень умов життя домогосподарств (ОУЖД) та економічної активності населення на основі змішаного методу злиття даних.

З метою використання цього методу здійснено оцінку ступеня придатності інформації для об'єднання, визначено особливості генеральних сукупностей, одиниць та періоду спостереження, систем показників. Установлено, що для об'єднання результатів обстежень ефективним є застосування змішаного методу злиття даних з використанням моделей взаємозв'язку на категоріальних змінних та методу імпутації з підбором. Схему реалізації зазначеного методу наведено на рис. 2.

Запропонований метод забезпечує більш ефективне використання результатів зазначених обстежень, а саме: вимірювання показників економічної активності за методологією МОП на основі розширеного масиву інформації, що сприяє підвищенню надійності оцінювання показників та забезпечує комплексний аналіз показників економічної активності та рівня життя населення.

Для вирішення методологічної проблеми статистичного об'єднання результатів вибіркових обстежень доходів та витрат домогосподарств за кілька років і результатів спеціалізованих вибіркових обстежень домогосподарств на муніципальному рівні запропоновано комбінований метод об'єднання даних, що поєднує метод приєднання даних, отриманих у різні проміжки часу, та метод прямого зв'язування даних.

Рис. 2. Схема реалізації змішаного методу злиття даних.

Застосування цього підходу дозволило оцінити рівень та диференціацію доходів і витрат домогосподарств, а також визначити їх платоспроможність щодо комунальних послуг. Метод було реалізовано за даними спеціального вибіркового обстеження платоспроможного попиту населення на послуги централізованого водопостачання та водовідведення (2006 р.) та державного вибіркового інтегрованого обстеження умов життя домогосподарств у містах Республіки Вірменія (2004-2006 рр.).

Розділ 3 "Особливості використання об'єднаних даних" присвячено специфічним проблемам, що виникають при використанні об'єднаних масивів інформації для вимірювання та аналізу соціально-економічних явищ і процесів. Певну увагу приділено підходам до порівняльного аналізу ефективності окремих методів об'єднання даних. Наведено науково-практичні рекомендації щодо використання методів статистичного об'єднання даних у державній статистиці.

Як свідчать результати дослідження, адекватне використання об'єднаних даних вимагає: окреслення характеристик методу статистичного об'єднання даних, умов його використання, можливих позитивних та, особливо, негативних властивостей таких даних. Крім того, при аналізі об'єднаних масивів інформації обов'язковим є контроль вихідних даних з метою забезпечення репрезентативності результатів, отриманих на основі об'єднання даних.

Ефективним підходом до оцінки адекватності методу об'єднання даних є порівняльний аналіз показників за об'єднаним масивом даних та за кожним з масивів, що об'єднуються, при цьому аналізуються як значення самих оцінок, так і абсолютні та відносні відхилення між ними.

На рис. 3 як приклад наведено проміжні оцінки чисельності безробітного населення на етапі об'єднання даних за масивом, отриманим на основі використання методу приєднання даних вибіркових обстежень домогосподарств (ОЕАН та ОСГД) з різним дизайном вибірки та за даними кожного з обстежень окремо. Як видно з рисунку, чисельність безробітного населення за об'єднаним масивом завжди знаходиться в інтервалі, детермінованому значеннями оцінок чисельності безробітного населення за масивами ОЕАН та ОСГД. При цьому, якщо не враховувати зміщення, оцінка за об'єднаним масивом буде ближчою до тієї з них, дисперсія вибіркових оцінок якої менша. З урахуванням зміщення оцінка за об'єднаним масивом даних буде ближчою до тієї, що характеризується меншою загальною похибкою.

Рис. 3. Чисельність безробітних у сільській місцевості регіонів України, визначена за різними масивами даних (лютий 2007 р.).

Важливою перевагою застосування методів об'єднання даних на мікрорівні є забезпечення можливості детального аналізу розподілу досліджуваних сукупностей. На рис. 4 порівнюються розподіли різних сукупностей населення (все населення та безробітні за МОП) за річними середньодушовими сукупними витратами. Слід зазначити, що наведений розподіл безробітних в Україні може бути розрахований лише за результатами об'єднання даних ОУЖД і ОЕАН.

У роботі для об'єднання результатів зазначених обстежень на мікрорівні використано змішаний метод злиття даних. Як свідчать наведені дані, розподіл безробітних за річними середньодушовими сукупними витратами помітно відрізняється від розподілу всього населення. Середньодушові сукупні витрати для безробітних за методологією МОП становлять 4,7 тис. грн., за рік, для всього населення - 5,7 тис. грн. Відхилення на рівні 1 тис. грн. пояснюються більш низьким рівнем доходів домогосподарств, у складі яких є безробітні особи.

У наукових фахових виданнях:

1. Лущик Л.В. Підхід до імпутації демографічних показників Всеукраїнського перепису населення 2001 року / Л.В. Лущик, Г.І. Терещенко // Проблеми статистики: [зб. наук. праць]. - К.: НДІ статистики Держкомстату України, 2002. - Вип. 4. - С. 98-102. - 0, 55 друк. арк. Особисто автору належить 0,15 друк. арк. Автором підготовлено приклади та проаналізовано результати опрацювання процедур імпутації демографічних характеристик населення на основі підходів, реалізованих у спеціалізованому пакеті програм CANCEIS.

2. Саріогло В.Г. Методичні засади об'єднання даних з різних джерел для аналізу демографічних і соціально-економічних процесів / В.Г. Саріогло, Г.І. Терещенко // Демографія та соціальна економіка. - 2005. - № 1. - С. 168-176. - 0, 82 друк. арк. Особисто автору належить 0,3 друк. арк. Автором проведено аналіз підходів та конкретних процедур інтеграції статистичних даних з різних джерел, принципів їх гармонізації для забезпечення можливості застосування зазначених підходів.

3. Терещенко Г.І. Статистичне об'єднання даних різнопланових обстежень домогосподарств / Г.І. Терещенко // Проблеми статистики: [зб. наук. праць]. - К.: НТК статистичних досліджень Держкомстату України, 2005. - Вип. 7. - С. 142-146. - 0, 44 друк. арк.

4. Терещенко Г.І. Оцінювання рівня життя домогосподарств на муніципальному рівні на основі об'єднаних даних різних обстежень населення / Г.І. Терещенко // Економіка: проблеми теорії та практики: [зб. наук. праць]. - Дніпропетровськ: ДНУ, 2005. - Вип. 220. - Т. III. - C. 668-676. - 0, 55 друк. арк.

5. Терещенко Г.І. Об'єднання даних обстежень населення на основі моделей зі структурними змінними / Г.І. Терещенко // Статистика України. - 2007. - № 1. - C. 20-26. - 0, 69 друк. арк.

В інших виданнях:

6. Терещенко Г.І. Методологічні принципи об'єднання статистичних даних з різних джерел / Г.І. Терещенко // Система державної статистики в Україні: сучасний стан, проблеми, перспективи: зб. текстів доповідей ІІ наук. -практ. конф. з нагоди Дня працівників статистики, 05 груд. 2004 р., Київ. - К.: ДАСОА, 2004. - C. 269-273. - 0, 25 друк. арк.

7. Терещенко Г.І. Об'єднання даних різнопланових вибіркових обстежень / Г.І. Терещенко // Науково-технічний розвиток: економіка, технології, управління: матеріали V Mіжнар. конф. студентів, аспірантів і молодих вчених, 24-26 квіт. 2006 р., Київ. - К.: НТУУ "КПІ", 2006. - С. 214-215. - 0, 14 друк. арк.

8. Терещенко Г.І. Комплексне використання статистичних даних для підвищення надійності оцінювання регіональних показників економічної активності населення / Г.І. Терещенко // Комплексна статистична оцінка управлінської та господарської діяльності: зб. наук. праць Всеукр. наук. -практ. конф., 24 трав. 2006 р., Хмельницький. - Хмельницький: Хмельницький університет управління та права, 2006. - С. 124-127. - 0, 17 друк. арк.

9. Терещенко Г.І. Аналіз соціально-економічних процесів на основі об'єднання первинних даних обстежень населення / Г.І. Терещенко // Проблеми інформаційно-статистичного дослідження розвитку економічних систем: матер. Всеукр. наук. -практ. конф., 22-23 лют. 2007 р., Дніпропетровськ. - Дніпропетровськ: ДНУ, 2007. - C. 44-46. - 0,21 друк. арк.

10. Tereshchenko G. Statistical Matching of Different State Household Surveys Unemployment Data in Ukraine [Електронний ресурс]/ G. Tereshchenko // Bulletin of the International Statistical Institute 56^th Session; Section CPM092: Imputation Techniques. Lisboa, 22-29 Aug. 2007. - Lisboa: ISI, 2007. - 1 електрон. опт. диск (CD-ROM): кольор.; 12 см. - Системні вимоги: Pentium; 32 Mb RAM; Microsoft^® Internet Explorer^®; Adobe^® Reader^®. - 0,25 друк. арк.

АНОТАЦІЯ

Дисертація на здобуття наукового ступеня кандидата економічних наук за спеціальністю 08.00.10 - статистика. - Державна академія статистики, обліку та аудиту Держкомстату України, Київ, 2008.

Дисертацію присвячено розробці методологічних положень та методичного забезпечення об'єднання результатів статистичних обстежень домогосподарств. У роботі доведено необхідність комплексного використання статистичних даних з різних джерел в офіційній статистиці при вимірюванні та аналізі соціально-економічних і демографічних процесів. Доведено, що за сучасних умов в Україні статистичне об'єднання даних доцільно розробляти та впроваджувати у сфері вибіркових обстежень домогосподарств. Запропоновано визначення категорії "статистичне об'єднання даних" та класифікацію методів. Сформульовано узагальнюючі методологічні положення, які необхідно враховувати при вирішенні прикладних проблем статистичного об'єднання даних. Запропоновано метод приєднання даних вибіркових обстежень домогосподарств, отриманих на вибірках з різним дизайном, змішаний метод злиття даних різних вибіркових обстежень та комбінований метод статистичного об'єднання первинних даних різних вибіркових обстежень домогосподарств. Доведено, що зазначені методи об'єднання даних дозволяють ефективно вирішувати проблеми підвищення надійності вимірювання показників, покращувати характеристики порівнянності та узгодженості статистичних даних, а також здійснювати ефективний комплексний аналіз показників, що вимірюються за результатами різних вибіркових обстежень домогосподарств (населення). У роботі сформульовано науково-практичні рекомендації щодо використання запропонованих методів при проведені державних вибіркових обстежень домогосподарств в Україні.

Ключові слова: методи об'єднання даних, вибіркові обстеження, оцінювання показників, якість даних.

АННОТАЦИЯ

Терещенко А.И. Методы объединения результатов статистических обследований домохозяйств - Рукопись.

Диссертация на соискание ученой степени кандидата экономических наук по специальности 08.00.10. - Статистика. - Государственная академия статистики, учета и аудита Госкомстата Украины, Киев, 2008.

Диссертация посвящена разработке методологических положений и методического обеспечения объединения результатов статистических обследований домохозяйств. В работе обоснована необходимость комплексного использования статистических данных из разных источников при измерении и анализе социально-экономических и демографических процессов. Доказано, что в современных условиях в Украине методы статистического объединения данных целесообразно разрабатывать и внедрять, прежде всего, в сфере государственных выборочных обследований домохозяйств. Для общего обозначения процессов, обеспечивающих возможность комплексного использования статистических данных из разных источников, предложено использование термина "статистическое объединение данных", в котором, в отличие от существующих, основным принципом является адекватное использование статистической методологии объединения данных для обеспечения контролируемости статистических свойств объединенных массивов информации. В диссертации показано, что методы статистического объединения данных целесообразно различать по количеству источников, направлению и подходам. Сформулированы обобщающие методологические положения, которые необходимо учитывать при решении прикладных проблем статистического объединения данных. Разработаны и использованы с целью обеспечения качества оценивания показателей специальные методы объединения результатов обследований домохозяйств: метод присоединения данных выборочных обследований домохозяйств с учетом дизайна выборок, реализация которого обеспечила повышение надежности оценивания показателей экономической активности сельского населения по регионам Украины; смешанный метод слияния данных разных выборочных обследований домохозяйств на основе использования моделей взаимосвязи на категориальных переменных и метода импутации с подбором, что обеспечило возможность комплексного анализа показателей экономической активности и уровня жизни населения на основе результатов государственных выборочных обследований условий жизни домохозяйств и экономической активности населения; комбинированный метод статистического объединения первичных данных разных выборочных обследований домохозяйств, что позволило надежно оценить показатели платежеспособности домохозяйств относительно оплаты коммунальных услуг, уровень и дифференциацию доходов и расходов домохозяйств отдельных городов Республики Армения. Практическое использование методов статистического объединения данных для оценивания показателей выборочных обследований домохозяйств требует повышенного внимания к вопросам обоснования выбора конкретного метода, соблюдения принципов его реализации, предоставления пользователям информации, которая достаточно полно характеризует качество объединенных данных. На основе комплексного анализа полученных результатов сформулированы научно-практические рекомендации относительно использования предложенных методов при проведении государственных выборочных обследований домохозяйств в Украине.