$(function(){
$('textarea#text').attr('value','');
$('button#tokenize').click(function(){
var text = $('textarea#text').attr('value');
$('body').append(listize(tokenize(text)));
});
})
function p(text){ return "\t
"+text+"
\n"}
function li(text){ return "\t"+text+"\n"}
function tokenize(text, delims){
var text = strip(text);
var delims = delims || '.?!, ';
var puncre = new RegExp('([' + delims + ']+)');
var words = [];
var bits = text.split(puncre);
for (var i=0; i'];
for(var i=0;i');
return list.join('\n');
}
function strip(text){
return text.replace(/\W+$/,'');
}