[Sweet]

что вставить? кнопку?

Вёрстку, конечно. Короче, общий принцип с jQuery: есть урл, через который ты запрашиваешь следующую партию новостей. Например, site.com/getNews?id=1234. В параметре запроса передаешь какой-нибудь id'шник. Например, id первой новости из тех, которые собираешься получить. Ну либо как-нибудь по-другому. По клику на кнопку делаешь запрос. Ответ, допустим будет в json-формате с новым идентификатором для следующего запроса и, собственно, с самой версткой новостей. И эту верстку ты запихиваешь в <div> контента. Тип того:

<div class="content"></div>
<div class="button" data-id="xxx"></div>
<script>
$(".button").on("click", function () {
  var button = $(this);
  
  $.get("url", { id: button.data("id") }, appendContent);
  
  function appendContent(responce) {
    var data = JSON.parse(responce);
    
    button.data("id", data.nextId);
    $(".content").append(data.html);
  }
});
</script>