最近的一个项目中,使用Hibernate JPA 作为持久层,有个字段为longtext,注解为@Lob
Mysql的版本为5.0
插入数据时报错:
Caused by: java.sql.BatchUpdateException: Data too long for column 'N_CONTENT' at row 1
google了一下,有人说把my.ini 中的STRICT_TRANS_TABLES 去掉,可以解决问题
照做,错误不报了,但是有了新的问题,插入的数据会丢到一部分!
现在还是没有解决,只好先改回了,改回后,发现错误不报的情况下,数据也会丢失。
数据库驱动版本也换了,问题仍在,只好明天看看是不是特殊字符的问题。
今天验证了一下,果然是特殊字符的问题.\r与\n是罪魁祸首.
下面是自己用以前用的将文本中特殊字符转换成html的代码
public class CodeFilter
{
public CodeFilter()
{
}
public static String change(String s)
{
s = toHtml(s);
return s;
}
//特殊字符转为Html
public static String toHtml(String s){
if(s == null){
s = "";
return s;
}
s = Replace(s,"&","&");
s = Replace(s,"<","<");
s = Replace(s,">",">");
s = Replace(s," "," ");
s = Replace(s,"\'","'"); //一个 ASCII 39 单引号 (') 字符
s = Replace(s,"\\","\"); //一个 ASCII 92 反斜线 (\) 字符
s = Replace(s,"\r"," "); //一个 ASCII 13 回车符
s = Replace(s,"\n"," "); //一个 ASCII 10 换行符
s = Replace(s,"\0","�"); //一个 ASCII 0(NUL)字符
s = Replace(s,"\t","	"); //一个 ASCII 9 制表符(TAB)
return s;
}
//逆
public static String unHtml(String s){
s = Replace(s,"<br>","\n");
s = Replace(s," "," ");
return s;
}
//Replace
public static String Replace(String source,String oldString,String newString)
{
if(source == null) return null;
StringBuffer output = new StringBuffer();
int lengOfsource = source.length();
int lengOfold = oldString.length();
int posStart = 0;
int pos;
while((pos = source.indexOf(oldString,posStart)) >= 0){
output.append(source.substring(posStart,pos));
output.append(newString);
posStart = pos + lengOfold;
}
if(posStart < lengOfsource)
{
output.append(source.substring(posStart));
}
if(!source.equals(output.toString()))
{
System.out.println("[Replace]"+oldString+"[to]"+newString);
}
return output.toString();
}
}
[参考资料]
1.在MySQL 5.0.2之前,MySQL对非法或不当值并不严厉,而且为了数据输入还会强制将它们变为合法值。在MySQL 5.0.2和更高版本中,保留了以前的默认行为,但你可以为不良值选择更传统的处理方法,从而使得服务器能够拒绝并放弃出现不良值的语句
2.以前很少使用mysql,在导数据的时候也蛮顺利。最近由于公司网站的新系统使用mysql,要将原来的mssql的数据导入mysql,使用odbc竟然大出错。老提示Data too long for column 'xxx' at row 1。郁闷的不少时间,猛然想起来安装的时候启用了strict模式。可能造成数据的严格校检导致错误。修改my.ini后解决。
3.需要处理特殊字符
yourtext = replace(yourtext, "'", "''")
2. 转义字符"\"
yourtext = replace(yourtext, "", "\")
3. 空字符chr(0),注意不是空格,这个问题找了2个小时才找到。
yourtext = replace(yourtext, chr(0), "")
分享到:
相关推荐
Mysql 中插入多 text 类型问题解决方案 在 MySQL 中,插入多个 text 类型字段时,可能会遇到 "Row size too large" 的错误,这是因为 MySQL 的行大小限制所致。在这种情况下,我们可以通过修改 MySQL 的配置文件和...
由于Longtext字段容量较大,因此在传输过程中可能会遇到数据截断或丢失的问题。解决这一问题的方法之一是确保数据管道足够宽,能够容纳这些大型文本数据。 2. **转换** - Informatica提供了丰富的转换组件来处理...
MySQL中的LONGTEXT类型是一种用于存储大量文本数据的数据类型,它能容纳非常大的字符串,最大长度可达4GB。在本示例中,LONGTEXT被用来存储大文件,包括二进制文件,如ISO映像或可执行文件。这使得MySQL不仅能够处理...
在MySQL数据库中,插入数据的速度是衡量数据库性能的关键指标之一。为了提高数据插入的效率,可以采取多种技术手段和优化策略。文档中提到的多种方法可以归纳为以下几类知识点: 1. 利用MySQL的批量插入功能: - ...
本文将深入探讨如何使用Visual Studio 2010中的MFC(Microsoft Foundation Classes)框架与MySQL数据库进行交互,特别是在数据库中插入数据。MFC是微软为Windows应用程序开发提供的一种C++类库,而MySQL则是一种流行...
MySQL 唯一索引重复插入数据解决方案总结是指在 MySQL 中遇到唯一索引重复插入数据时的解决方案,可以使用 ignore 语句或 on duplicate key update 语句来解决该问题,并且可以根据具体情况选择合适的解决方案。
本教程将详细介绍如何使用Django与MySQL协同工作,实现数据的插入操作。 首先,确保你已经安装了Python、Django和MySQL的相关库。Python的安装是基础,Django可以通过pip来安装:`pip install django`。对于MySQL,...
MySQL创建存储过程批量插入10万条数据 存储过程 1、首先防止主键冲突,我们清空表。 TRUNCATE table A_student; 2、编写存储过程 delimiter ‘$’; CREATE PROCEDURE batchInsert(in args int) BEGIN declare i int ...
这意味着即使在MySQL服务重启后,该值也不会丢失。 - **InnoDB**:存储在内存中的自动增长ID值,在MySQL服务重启后会重置。不过,InnoDB支持使用`OPTIMIZE TABLE`命令来恢复已删除记录所留下的空缺ID。 #### 二、...
mysql 批量插入测试数据 ,可判断条件插入数据,随心所遇插入,do where 循环
### DataX 数据从 Hive 导入 MySQL 数据缺失解决 #### 背景介绍 在大数据处理领域,Hive 和 MySQL 分别作为数据仓库与关系型数据库的重要组成部分,在数据流转过程中承担着关键角色。Hive 通常用于存储海量数据并...
上述代码首先连接到MySQL数据库,然后创建一个PreparedStatement对象来执行插入操作。`setBlob`方法用于设置Blob参数,这里传入一个FileInputStream对象,该对象从指定文件读取数据。 4. **查询和提取Blob数据** ...
其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (4232009 > ...
MySQL 大批量数据插入是指在短时间内将大量数据插入到 MySQL 数据库中,需要设计目标要求能支持平均每秒插入 1000 条数据以上。MySQL 提供了多种方法来实现大批量数据插入,包括使用批量插入语句、使用 LOAD DATA ...
4. 插入数据到Oracle,并确保主键值的连续性。 总的来说,MySQL到Oracle的数据同步是一项技术挑战,涉及数据库结构的比较、数据类型映射、事务管理等多个方面。在实际操作中,应充分考虑数据完整性、性能和系统的...
这个脚本的目的就是读取`prov.csv`中的数据,并将其插入到MySQL数据库中的相应表中。脚本可能包含如下步骤: 1. 使用`cat`或`head`命令查看CSV文件内容。 2. 使用`awk`或`cut`命令处理CSV数据,提取出需要导入数据库...
在IT行业中,将Excel表格中的数据导入到MySQL数据库是一项常见的任务,尤其在数据分析、报表制作或数据迁移等场景中。这个任务通常涉及到两个主要部分:读取Excel文件和与MySQL数据库进行交互。以下是对这两个部分的...
MySql练习1:批量插入成绩数据.zip,MySql练习1:批量插入成绩数据.zipMySql练习1:批量插入成绩数据.zipMySql练习1:批量插入成绩数据.zipMySql练习1:批量插入成绩数据.zip
本教程将详述如何使用Apache POI库读取Excel数据,并通过Java的JDBC接口批量插入到MySQL数据库中。Apache POI是Java平台上的一个开源项目,它允许程序员创建、修改和显示Microsoft Office格式的文件,其中包括Excel...