C++中读取一段文字并按特定字符分词

1、将句子按照某种特性的词，分开，比如将字符串按照“ ”，“；”“#”“tab”等断开成小句子，代码如下：

int Sentence_Split(const char* str, std::vector<std::string>* vectWords) {          char seps[]=" ;#　　　　";//空格,分号，#，tab键

         char *token;

         char * strTemp=new char[strlen(str)+1];//这里要复制，因为要动实参          strcpy(strTemp,str);            token = std::strtok( strTemp, seps );          while(token!=NULL)          {                vectWords->push_back(token);                 token=std::strtok(NULL,seps);          }          delete []strTemp;          return vectWords->size(); }

2、文档中读取一段文字，并将句首和句尾某种元素去掉，比如：“空格”或者“#”

 char* strFileName="****.txt";  ifstream streamIn;  string strLine;  char   strTemp[100];//用来暂时保存切词的词，不会太长  streamIn.open(strFileName);  if (!streamIn)//判断是否打开成功   return;  vector<string>* vectWords;  char*token,*token2;  while(getline(streamIn,strLine))  {             if(strLine.empty())                   continue;           strLine.erase(0,strLine.find_first_not_of("　　")); //把前面Tab键去掉去掉

          strLine.erase(0,strLine.find_first_not_of("#")); //把字符串前面的#去掉           strLine.erase(strLine.find_last_not_of("#") + 1);//把字符串后面的#去掉

          .........   }