lxc上でのlibvirt動きません。

Question

環境:ubuntu15.10
状態：lxcのコンテナの中にさらにlibvirtを使用してlxcを管理したいです。
コンテナの中にコンテナということをやりたいです。

ホスト側はlxc単体で動かしています。このコンテナの中にlibvirtを使用してlxcを管理しようと思ったのですが、libvirtが動きません…
error内容は次の通りです。

Failed to open config space file '/sys/bus/pci/devices/0000:00:00.0/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: Failed to open config space file '/sys/bus/pci/devices/0000:00:01.0/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: Failed to open config space file '/sys/bus/pci/devices/0000:00:01.1/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: Failed to open config space file '/sys/bus/pci/devices/0000:00:01.2/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: Failed to open config space file '/sys/bus/pci/devices/0000:00:01.3/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: Failed to open config space file '/sys/bus/pci/devices/0000:00:02.0/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: Failed to open config space file '/sys/bus/pci/devices/0000:00:03.0/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: Failed to open config space file '/sys/bus/pci/devices/0000:00:04.0/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: Failed to open config space file '/sys/bus/pci/devices/0000:00:05.0/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: Failed to open config space file '/sys/bus/pci/devices/0000:00:06.0/config': Read-only file system
Feb 17 18:50:00 test libvirtd[618]: internal error: Child process (/usr/sbin/dmidecode -q -t 0,1,2,4,17) unexpected exit status 1: /dev/mem: No such file or directory
Feb 17 18:50:00 test libvirtd[618]: internal error: Child process (/usr/sbin/dmidecode -q -t 0,1,2,4,17) unexpected exit status 1: /dev/mem: No such file or directory
Feb 17 18:50:00 test libvirtd[618]: invalid argument: Failed to parse user 'libvirt-qemu'
Feb 17 18:50:00 test libvirtd[618]: Initialization of QEMU state driver failed: invalid argument: Failed to parse user 'libvirt-qemu'
Feb 17 18:50:00 test libvirtd[618]: Driver state initialization failed

最初の「readonly」のエラーが解決できていませんm(__)m
最後の「qemu」に関してはlibvirt.confの設定をuri=lxc:///にしたらなおります。

よろしくお願いします。
修正依頼追記============================
ネスティングの言葉の意味が分からないほどなのでおそらくしていません。調べてみましたm(__)m
この状況で例えますとlibvirtまたはホストのlxcのプログラム自体を変更するという意味で捉えます。インストールしてlibvirt.conf設定を触りそのままです…
設定の変更内容はuri="lxc:///"に変更しただけです。

ほしい情報じゃなかったらすいませんm(__)m

修正依頼追記===========================

そのことでしたか、過去にいろいろ試しました。
コンテナの設定は以下のようになっていますm(__)m

# Template used to create this container: /usr/share/lxc/templates/lxc-ubuntu
# Parameters passed to the template:
# For additional config options, please look at lxc.container.conf(5)


######################capabiliry#####################################
lxc.cap.drop = mac_admin mac_override
#lxc.cap.drop = dac_override
#lxc.cap.drop = dac_read_search
#lxc.cap.drop = net_admin
#lxc.cap.drop = mac_override
#lxc.cap.drop = sys_admin
#lxc.cap.drop = sys_module
#lxc.cap.drop = net_admin
#lxc.cap.drop = sys_time
#lxc.cap.drop = sys_module mac_admin mac_override sys_time audit_control audit_write syslog sys_admin sys_rawio

#lxc.cap.keep = sys_admin
#lxc.cap.keep = net_admin
#lxc.cap.keep = dac_override
#lxc.cap.keep = chown
#lxc.cap.keep = net_raw
#lxc.cap.keep = sys_time
#lxc.cap.keep = none
#lxc.cap.keep = audit_control
#lxc.cap.keep = audit_write

#lxc.id_map = u 0 10000 100
#####################################################################

#################lxc auto start & priority container up####################
#auto start : 0(no auto start) or 1(auto start)
#default 0
lxc.start.auto = 1

#next continer up wating time
#lxc.start.delay = 0

#Order continer up priority.priority larger value
#lxc.start.order = 0

#continer group
#lxc.group =
###########################################################################

# When using LXC with apparmor, uncomment the next line to run unconfined:
lxc.aa_profile = unconfined
#lxc.aa_allow_incomplete = 0

# Common configuration
lxc.include = /usr/share/lxc/config/ubuntu.common.conf

# Container specific configuration
lxc.rootfs = /var/lib/lxc/nova-com/rootfs
lxc.utsname = nova-com
lxc.arch = amd64

# Network configuration
lxc.network.type = veth
lxc.network.link = lxcbr0
lxc.network.flags = up
lxc.network.hwaddr = 00:16:3e:b5:0f:93

lxc.network.name = eth0
lxc.network.ipv4 = 10.0.3.3/24
lxc.cgroup.cpuset.cpus = 2,3,4,5,6,7
lxc.cgroup.memory.limit_in_bytes = 55000000000

Comments

[issei.]

ネスティング設定は何もされていないのですか？

[issei.]

ネスティング(nesting)は、単にLXCの入れ子の話です。ホスト側LXCに、lxc.aa_profile = lxc-container-default-with-nesting ←こんなconfigが必要なようなのですが、手元で検証していなくてなんとも言えず。https://s3hh.wordpress.com/2014/03/31/nested-lxc/

Answer 1

だいぶ前の質問なので今更かもしれませんが

linuxcontainers.org で開発されている LXC というプロダクトと、libvirt の LXC ドライバは名前は同じですが、全くの別物です。libvirtのLXCって今でも開発されてるか謎。

libvirtは起動時に色々/sysの下を参照したりいじったりしそうですね。LXCでデフォルトだと sysfs は一部を除いてreadonlyでマウントするので、デフォルトの lxc.mount.auto の設定を確認してみると良いかもしれません。例えば lxc.mount.auto = sys:rw のように (procとcgroupの設定も同時にやってください)

それ以外にもまだまだハマりどころはあるかもしれません。今だったら LXD で管理したほうが楽かもしれませんね。