パーマリンク設定でカスタム構造を/%postname%.htmlとすると拡張子を.htmlにできます。
でも、これは投稿だけで固定ページには使えません。
固定ページの拡張子を.htmlにするプラグインも使わないシンプルな方法をメモしておきます。
既存ページをWordpress化するときにページアドレスを同じにしたい場合などに便利です。

// 固定ページのパーマリンクの拡張子を.htmlにする
add_action('init', 'mytheme_init');
if (!function_exists('mytheme_init'))
{
	function mytheme_init ()
	{
		global $wp_rewrite;
		$wp_rewrite->use_trailing_slashes = false;
		$wp_rewrite->page_structure = $wp_rewrite->root. '%pagename%.html';
	}
}

※「mytheme_init」は任意。

上記をfunctions.phpに追加しても拡張子が変更できない場合は、改めてパーマリンク設定を保存しなおしましょう。