По итогом поисков было нарыто примерно следующее.
Открываем Open Office переходим на вкладку Сервис->Параметры. Справа выберите пункт "Память" и измените настройки примерно таким образом:
Количество шагов: 30
Использовать для Open Office: 128
Памяти на объект: 20
Количество объектов: 20
Так же можно отключить Java. Для этого выберите вкладку Java в меню, а затем снимите флажок "Использовать Java Runtime Environment". Правда это может быть чревато некоторой потерей функциональности.
Но в целом помогло, грузится и работать стало гораздо приятнее. Ну и памяти естественно гораздо меньше кушает.
Для его большей экономии памяти можно побаловаться со словарями и отключить ненужные. В таком случае вообще можно уменьшить потребление памяти где-то до 50Мб.