Primeiro, adicione a chave GPG do repositório do MongoDB:

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10

Edite o arquivo /etc/apt/sources.list e adicione o repositório do MongoDB:

deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen

Atualize a lista de pacotes:

sudo apt-get update

E instale o MongoDB:

sudo apt-get install mongodb-10gen